AWS CDK で EventBridge + Lambda で定期実行処理（バッチ処理）を実装してみた | DevelopersIO
はじめに プロフィールビューアーサービスProflly（プロフリー）の開発にて、定期的にデータを集計して、集計結果を保存しておく処理を、AWS CDK（TypeScript） を使って EventBridge + Lambda にて実装してみました。その定期実行処理（バッチ処理）の実装方法を紹介させていただきます。 作成するアーキテクチャ EventBridgeを利用して月初の AM 1:00 (JST) に Lambda を定期的に実行するように作成します。 環境 AWS CDK 1.121.0 TypeScript 3.9.7 実装内容 利用するパッケージをインストール 今回作成するアーキテクチャに必要なパッケージをインストールします。 npm install --save-dev @aws-cdk/aws-dynamodb @aws-cdk/aws-lambda-nodejs @aw
Terraform Cloud に新機能 Drift Detection がやってきた！Drift を継続的に監視&通知してくれる
Terraform Cloud に新機能 Drift Detection がやってきた！Drift を継続的に監視&通知してくれる はじめに 現在開催中の HashiCorp の年次カンファレンス、HashiConf Europe で、Terraform Cloud の新機能 Drift Detection が発表されました。 Drift Detection 機能は現在 Public beta 期間です。 Terraform Cloud Business Plan で利用可能です。 どうしても気になる方は DM で相談してください (お約束はできませんが)。 GA リリースの際には (時期はまだ未定) たぶん Terraform Enterprise でも使えるようになる。 構成 Drift と向き合う Terraform を運用していく上での一般的な課題の1つとして、Terraform
こんにちは。TENTIALというD2CスタートアップでCTOをしています、いっちです。 エンジニア採用困ってるんだよねっていう話をしたら、 弊社のテックリードが「エンジニア採用にはやっぱテックブログっしょ！卍」とか言い出したので、 とりあえずエンジニアチームの共同作業の一つとして意見に乗ることにし、始めました ひとまず、 弊社はECサイトを自社でフルスクラッチ（Nuxt.js + Express.js + Mongo）で作っていることもあり、 EC事業者かそれを担うエンジニアの役に立てばと、簡単にフルスクラッチでのECサイトの作り方（概念）をまとめてみました。 フルスクラッチでECサイトを作るために準備するもの いくつかのECサイトでの購入経験 複数のECサイトのソースコードを眺める 決済サービスのAPIを眺める ライブラリを作れるぐらいのプログラミングスキル ジョブ管理・ログ・定期実行に
terraformとクラウドの状態の差分を定期的に監視する仕組みを作った話 - ITANDI Engineer Blog
はじめに イタンジSREチームの田渕です！ イタンジではクラウド管理のIaCツールとしてterraformを使っています。 terraformとクラウドの状態の差分を定期的に監視する仕組みを作ったところ、うまくワークし、かなり運用負荷が下がったため、皆様にも紹介します！ 導入の背景 terraformを理想的に運用できていれば、常にtfstateの状態とクラウドの状態が一致しているはずですが、現実はいくつかの理由で差分ができてしまうことがあります。 代表的なものは以下の3つでしょうか。 applyする際に不適切な書き方をした場合に、applyは想定通りに成功するがplanをした際に差分が出てしまう。 awsやterraform provider等の仕様変更により、今までは差分がなかった部分で差分が出てしまう。 稀に何らかの事情で手作業を行ってしまい、terraformへの反映も漏れてしまい
非同期タスクの実行パラメータをAthenaで検索可能にする 〜障害調査を容易にする実装方法〜 - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します！ ところで、、、障害が発生したときの調査って大変ですよね？非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかといった詳細な情報まではまだ把握できません。エラーログにしっかりと必要な情報を出力できていれば良いのですが、なかなかそうはなっていないのが現状です、、、。 また、実行パラメータには場合によっては個人
Python転職初心者向けエンジニアリングブログ
今回は、Pythonを使ってWiFiの状態を管理・操作する方法について、具体的なコード例を交えて紹介します。WiFi接続をプログラムで制御することにより、接続の自動化やネットワーク情報の取得などが可能です。こうした機能は、ネットワーク管理やIoTデバイスの操作に役立ちます。Python初心者にも理解しやすいように丁寧に説明していきます。 必要なパッケージのインストール PythonでWiFi情報にアクセスし、操作するためには、専用のライブラリが必要です。ここでは、「wifi」と「subprocess」というライブラリを使用します。wifiライブラリはWiFiネットワークの管理を簡単にし、subprocessはシステムコマンドの実行に便利です。 まずはライブラリをインストールします。wifiライブラリは以下のコマンドでインストール可能です。 pip install wifi WiFiネットワ
メリークリスマス（素振り）。 入社と同じタイミングで始まったラジオの放送回数で入社からの週数を把握しています、入社114週のSRE所属の今*1です。 最近の趣味はパネルでポンです。 pic.twitter.com/hCnUnIhhP1— temama (@Tkonsoy) 2021年9月8日 この記事はKAYAC Tech Advent Calendar 2021 8日目の記事です OSSへの憧れ もともと学生時代からLinuxが好きで、ユーザーたちで一つのモノを作るOSSという文化に憧れを持っていました。 OSや低レイヤーへの好奇心はあったものの難しかったので（意識が低い）、趣味でLinuxを触っている知識が活かせそうなサーバー、インフラ辺りのレイヤーのお仕事としてカヤックのSREとして*2雇っていただけました。 そしてカヤックには、我らが藤原組長を始めとする先輩社員の皆様のOSSツール
はじめに 今年の2月に情報を Evernote に集約し始めて早8ヶ月が経ちました。 その際に書いた記事が以下になります。 Evernoteが古くて新しい。情報蓄積と分析では非常に優秀だった。 ですが、最近の Evernote の動きが少し気になります。 2022年11月: EvernoteをイタリアIT企業が買収 「製品は存続」 - ITmedia NEWS 2023年04月: Evernote の価格プラン改定と今後の機能強化に関するお知らせ 2023年07月: Evernote、米国とチリの従業員をほぼ全員解雇 欧州への事業移管で - ITmedia NEWS 昨年の買収はともかく、値上げ後にアメリカとチリの従業員をほぼ全員解雇というのは、企業が存続するのか不安が大きくなりました。 Evernote は元々パフォーマンスに問題がありますが機能的には十分であるので有料プランを使っていま
ちょっとこわいGoogle Cloud Pub/Sub によるFaaS アーキテクチャ - GMOインターネットグループ グループ研究開発本部
はじめに あけましておめでとうございます、新卒のY.Cです。この肩書きで投稿するのは最後になりそうです。Google Cloud Functions を使おうとすると大体セットで出てくる Pub/Sub ちゃん、君は誰やねんこっちは定期実行したいだけなんじゃ、とずっと思っていたのですが最近和解できたのでpubsubちゃんの魅力とこわさについて書いてみようと思います。pubsubを知っている人はこわいアーキテクチャまで飛ばしてください。 TL;DR Cloud Pub/Sub はメッセージ送受信を実現するキュー push型は処理の分割点、pull型は集約点という見方もできる メッセージ先を間違えると無限ループするのでこわい Cloud Pub/Sub 概説 pubsubは一言で言うとただのキューです。では、なぜ定期的にcloud functionsを発火させたいだけなのにキューを経由しなけれ
こんにちは、ECプラットフォーム部の濱砂とSRE部の杉山、柴田です。普段はZOZOTOWNのリプレイスや運用に携わっています。 ZOZOTOWNでは、アプリケーションレイヤーで使用しているキャッシュストアをAmazon ElastiCache（以下、ElastiCache）にリプレイスしました。本記事では、リプレイスに至った背景や方法、発生した課題などについてご紹介します。 プロジェクトの概要 キャッシュストアのリプレイスとは ZOZOTOWNでは、現在システムリプレイスを進めています。その中で、Web（IIS）サーバーのメモリ領域に保持しているセッション情報を外部メモリストアにオフロードするプロジェクト（以下、セッションオフロード）があります。キャッシュストアのリプレイスはセッションオフロードのフェーズ1でターゲットとしていました。 後続のフェーズに本丸であるセッションオフロードや、Co
SQLite3で同時書き込みしたい
書き込みが発生する暗黙的トランザクションも同様のロックが発生します。 ロック中の読み取りは、EXCLUSIVEロック中だけ他プロセスもリードアクセスができなくなります。これ以外のUNLOCKED 、SHARED 、RESERVED中はリードアクセス可能です。 PENDINGはSHAREDロック所有プロセスはリードアクセス可能です。新たなSHAREDロックは獲得できません。 同時読み込みをサポートする仕組みであることがわかります。ただEXCLUSIVEロック中は読み込みも失敗することに注意が必要です。 プログラム(PHP SQLIte3)に落とし込んで考えると以下のようなことがわかりました。 querySingle(“select”)、query(“select”)、prepare(“select”)等でSHAREDロックが発生する exec(“insert”)等でSHARED、RESERV
AWSでサーバレスな定期バッチ環境を作るには結局どれ使えばいいの？（Lambda vs Fargate vs Batch） - Qiita
それでは、一つずつ説明していきます。 環境構築の容易さ Lambdaはコードをアップロードさえすれば、実行環境が構築でき、その導入障壁の低さが魅力と言えます。 FargateとBatchはコンテナベースのコンピューティングサービスであり、事前にバッチアプリケーションを含んだDockerイメージを用意しておく必要があります。 実行環境の拡張性 Lambdaは標準で使用できるランタイム（プログラム言語とバージョン）に限りがあります。ただ主要言語はほぼサポートされており、カスタムランタイムも作成できるため、さほど不自由さを感じないのではないでしょうか。 また、そのままだと標準ライブラリしか使えないため、 Serverless Framework や AWS SAM を使用して、ローカルの実行環境をパッケージ化してデプロイする運用が一般的かと思います。ただ、OS依存のネイティブライブラリの導入には
作ったものフロント側は全く作ってないんですが、私が住んでいるバンクーバーのFront End Developerの平均給与をいくつかのサイトからスクレイピングしてFirebaseのデータベースへ格納するといったとてもシンプルなものを作りました。日本ではどれぐらいあるのかわからないんですが、こっちだとポジションの平均給与がユーザーからの自己申請で出てます。調べてて思ったんですが、サイトによってすごくばらつきがありました。 後々フロント側を作って公開しようと思います🚀 Firebase FunctionsFirebase Functionsっていつも個人的には読んでるんですが、正式にはCloud Functions for Firebaseです。Google Cloud Platformのサービスの一つCloud FunctionsをFirebaseと連携させる感じですね。基本的にはFire
業務自動化これ一本!? KNIME 初心者への完全ガイド！ KNIMEの使い方 入門から応用まで - デジタル推進課
本ブログでは、KNIME 初心者のための完全ガイドを作成しています。 KNIME初心者でもこれだけやれば、「KNIMEなんて簡単！」「自動化？まかせて！」「まだExcelでレポート作ってるの？」と言えるような人になれるようになることを想定しています。 Excelしか使ったことない・使う気のない方々に、KNIMEを使ってもらえるよう、私が実際に某外資系企業で教えているノウハウを惜しみなく掲載中です。 自動化ツールKNIMEを社員全員が使える、ハイテク企業を目指しましょう！ KNIME 社内研修用動画、公開しました！ Udemy Business でも受講可能になりました！ 【KNIME入門】 業務自動化これ一本!? 公式認定講師が教えるKNIME使い方完全ガイド！ | Udemy 社内トレーニング用動画として使用いただければと思います！ v5系~の最新操作画面に対応しており、Excelの自動
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド（サーバーレス） 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 オンデマンド課金に制限をかける コンポーネント BigQuery の構成要素 データセット テーブル テーブルとは 標準テーブル 外部テーブル ビュー ビュー (通常) マテリアライズド・ビュー ルーティン
とある理由から、スクレイピングした結果をDBに保存する処理を定期実行させる簡単なプロダクトを作りたくなった為、AWS Lambda上でSelenium + Headless ChromeをPythonで動かす為の基盤作成を行った際の記録です。 作業時に部分的に参考になる資料は沢山あったものの、事前準備から始まり、Lambdaをどう作るかの作成部分、Lambdaからスクレイピングを実施する為のコード内記述、実行後に多くのケースでハマるポイントへの対処などなど、通しで書かれた内容が少なかった事もあり、振り返りの意味も含めて一度まとめてみます。 やりたいこと 冒頭にも書いたとおり、スクレイピングした結果をDBに保存する処理を定期実行させる簡単なプロダクトを作る為の実行基盤を作るのが目的です。 何故AWS Lambda上で動かす必要があったのか スクレイピング処理をLambda上で実行させる理由は
はじめに こんにちは、テクノロジー戦略室の新城です。私は2022年6月に中途入社し、入社してまだ半年ですがMLOpsの推進という仕事を担当しています。 現在レバレジーズではレバテックダイレクトの求人マッチ度判定のような、レコメンドシステムを多くのサービスで活用しています。 一方で機械学習モデルを本番運用したはいいが、データサイエンティストがモデルの改善フローを回しにくく、再トレーニングしたモデルのデプロイが頻繁にできないといった問題が顕在化してきました。 そこで、今回は社内営業支援ツールにおいてMLOpsを導入し実際にデータサイエンティストがモデルの改善プロセスを回せるようになったその事例を紹介できればと思います。 背景 レバレジーズのMLシステムはMLOps レベル0と言われる状態に近く、データサイエンティストがモデルを作成し、プロダクトへモデルを一度組み込むとその後の改善は行いにくく、
Systemdのtimer設定チートシート（コマンドまとめ）
Systemdはいまや多くのLinuxで標準的に使われているシステム管理用の仕組みです。 systemdの機能のひとつに、定期的・定時にコマンドを実行するtimerという機能があります。最近では、cronの代わりとしてsystemdのtimerを使う場面も多くなりました。 しかしcronに比べてsystemd.timerの情報は圧倒的に少なく、実装や移行の妨げになっていると感じます。 cronよりも最初の導入が少し厄介ですが、使いこなせると少ない労力で柔軟な設定が可能になります。最強に便利なツールであることは確かなので、ノートとして残しておきます。 Systemd timerとはなにか timerはsystemdのもとで動く、定期実行の仕組みです。 設定はcronと同様、設定ファイルを配置してコマンドを実行するだけ。 systemdが導入されているLinux（ほぼすべてのディストリビューシ
この記事は EC ブログリレーの19日目の記事です。18日目はtagamyさんによるWebエンジニアがWindows 10を使うべき8つの理由でした。 こんにちは、Tatsumi0000です。業務では、iOSアプリの開発をしています。RxSwiftに苦戦しながら業務を進めています。 普段開発しているiOSアプリがどのくらいのDLされているか知りたくなることはありませんか？ App Store Connectにログインすれば見れます。しかし、私は見に行くのは面倒だったので、毎朝10時に昨日のiOSアプリの新規DL数を投稿するSlackのbotを作成しました。新規DL数は、Apple公式のWeb APIである、App Store Connect APIから新規DL数を取得しています。動作環境としては、Go言語で書いたコードをGitHub Actionsのスケジュール機能を使って動かしています。
Pull Requestでレビューしたい！ はてなブログでホストされたエンジニアブログだとしても - LIVESENSE ENGINEER BLOG
どうも、かたいなかです。 採用広報チームでのブログ推進の一環として、はてなブログにある弊社エンジニアブログ記事をGitHubで管理するしくみを整えました。 この記事では、どのようなGitHubでの記事編集フローを構築したかをまとめます。 記事のレビューのフローがバラバラ・・・ GitHubで記事を管理できるように GitHub Actionsでtextlintを実行 GitHub Actionsではてなブログ側の変更を取り込む 定期実行のワークフローで公開された記事を公開済み記事のディレクトリに移動 GitHubで記事を管理できるようにしてどうだったか 参考 記事のレビューのフローがバラバラ・・・ 弊社のエンジニアブログの記事の運用での大きな問題のひとつに、レビューのフローが記事によってバラバラになってしまっていることがありました。 具体的には、以下のような一長一短ある複数のフローが、記事
はじめに 株式会社 RetailAI X Advent Calendar 2022 の 8 日目の記事です。 昨日は@tanabe_shogoさんの『Node.jsを使って、BigQueryからデータを取得するWebAPIを作る』でした。 本日は ML エンジニアの@atsukishが担当します。普段は機械学習モデルの開発以外にも、機械学習モデルの安定的な開発・運用基盤である MLOps の開発も担当しております。MLOps については以下の弊社テックブログでわかりやすい解説がありますので、こちらも参照ください。 機械学習モデルを安定的に開発・運用していくためには、MLOps のような機械学習向けの運用基盤が必要となります。次の図に示すように MLOps において機械学習モデルのアルゴリズムに該当するソースコード（ML Code）はごく一部であり、必要となる周辺要素は膨大で複雑です。ML
B! 6 0 0 0 Google Spreadsheetsに色々とりあえずでもいいから保存していこう、ということで Raspberry PiでBME280を使って測定している温度、湿度、気圧の値を 保存するようにしました。 Raspberry Pi & BME280 Blynk 記録方法 Google Spreadsheets API 書き込みスクリプト Raspberry Piで定期実行 Raspberry Pi & BME280 HiLetgo BME280 温度 センサー 湿度 センサー 気圧 センサー Arduino センサー 大気圧センサ 温湿度センサー ブレイクアウト Arduinoに対応 [並行輸入品] Amazonで見る 楽天市場で見る BME280は温度、湿度、気圧を測定できるセンサーで、 Raspberry Piとかに接続して測定するときによく使われるものです。 Ra
【初心者向け】AWS Systems Managerの変更管理を試してみた【前編】 - APC 技術ブログ
目次 目次 はじめに どんなひとに読んで欲しい 概要 料金 前提 試してみた Automation IAMロール作成 Automationの実行 メンテナンスウィンドウ メンテナンスウィンドウ作成 メンテナンスウィンドウ実行状況の確認 おわりに お知らせ はじめに こんにちは、クラウド事業部の山下です。 今回は多数あるAWS Systems Managerの機能の中でも、これまであまり使用したことがない「変更管理」のカテゴリに分類されるサービスについて調査・検証してみました。 Systems Manager 「変更管理」カテゴリの各サービスの概要説明と併せて簡単な設定手順もご紹介いたします。 どんなひとに読んで欲しい Systems Managerの機能について理解を深めたいひと Systems Managerの各機能の設定方法を知りたいひと 概要 まずは「変更管理」のカテゴリに分類される
ecschedule用のYAMLファイル専用リポジトリを解体して、各アプリケーションのリポジトリへ移管した話 - コネヒト開発者ブログ
プラットフォームグループでインフラエンジニアをしている @laughk です。 今回は、当社の ECS Scheduled Task の管理リポジトリを解体し、各アプリケーションのリポジトリへ移管した話を紹介します。 背景 なぜ一元管理しているリポジトリを解体したのか ECS関連のデプロイ・リソースの管理状況が変わった ecschedule の運用の安定し、プロダクトのリポジトリから独立している状況が煩わしくなった 解体から移管の概要 解体から移管の際に意識・工夫したこと git log は git filter-repo を使って保持した状態で移管 コードだけ移管するのではなく CI/CD による自動化もセット Pull Request 作成時に行うジョブ mainブランチマージ/tag push時に行う適用のジョブ デプロイで扱うCLIツールは aqua で管理 バッチ専用リポジトリを
40以上のバッチ、アプリケーションに影響するElastiCacheのアップグレードを行ったんだぁ。がんばったんだぁ。
ある日の出来事 スターフェスティバルのDPontaroです。 GWに差し掛かる頃でしたでしょうか。社内slackでこんなやり取りがありました。 といった流れで作業していくこととしました。 調査開始 関連アプリケーション ひとまずアップデートを行うことで、どのアプリケーションに影響があるのか調査を行うこととなりました。 本番環境で対象となっていたElastiCacheインスタンスは2台。 ありがたいことに、使用状況のドキュメントが残されており Redis上のどのdbが、どのアプリケーションで使用されているかまとめられていました。 ドキュメントによると、関連するアプリケーションは10ほどありましたが、 ほとんどがセッション情報や、クエリのキャッシュ情報なので 大きなリスクは無さそうだなと”この時は”思いました。 さて、えてしてドキュメントというのはメンテが追いついていない可能性もあるため 記載
第700回でも紹介したように、Mattermostと言えば、Slackと双璧をなすFLOSSでセルフホスト可能なチャットサービスであり、定型ワークフローを管理する「Playbook」と、かんばんライクなタスク管理ツールである「Boards」が統合され、「オンラインコラボレーションツール」でもあります。今回はMattermostの基本的なカスタマイズ方法を紹介しましょう。 Mattermost Omnibusのカスタマイズ 第700回ではDebianパッケージ版のMattermostである「Mattermost Omnibus」をインストールしました。今回はまず、このMattermost Omnibusをカスタマイズしてみましょう。改めてリストアップすると、基本的な設定方法は次の4パターンになります。 Mattermost Omnibusの設定ファイルは「/etc/mattermost/m
初めてDatabricksを利用される方向けに、マニュアルからピックアップしたコンテンツを翻訳したものになります。全文はDatabricks documentation | Databricks on AWSから参照できます。 注意 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては英語ドキュメントを参照ください。 こちらは翻訳時点の内容となります。可能な限りアップデートしていきますが、最新の状態でない箇所がある可能性をご了承ください。 AWSでの利用を想定したものとなっています。 誤記、翻訳要望等ございましたら、コメントでご指摘いただけると幸いです。 Databricksフリートライアルへのサインアップ Databricksアカウントのセットアップとワークスペースの作成 Databricksアカウントのセットアップとワークスペースの作成(実践編) Databr
クラウド破産が起きないようにAWSの料金を毎日通知するやつを作りたかったのですが忙しくて... 重い腰を上げてやっとです。LINEに通知してもでもいいのですが手軽なのでSlackで行きます。 Slackシリーズ結構やってきましたので他の記事も参考に 今回のアーキテクチャ Lambdaを作成 今回動かすコードを貼り付けましょう import datetime import json import urllib.request import boto3 import os import logging logger = logging.getLogger() logger.setLevel(logging.INFO) def lambda_handler(event, context): url = "https://slack.com/api/chat.postMessage" header
このサーバのアプリケーションいつバージョンアップしたんだっけ？ SSM インベントリと AWS Config の組み合わせでタイムラインから確認する | DevelopersIO
コンバンハ、千葉（幸）です。 先日、以下の記事を書きました。 AWS Systems Manager インベントリを利用して収集した OS 上のファイルのメタデータが、 AWS Config による記録の対象となった、というものです。ファイルの情報を変更したらそれが AWS で検知できるなんて面白いなーと思いました。 それの検証を行った際に、従来からできる機能でも面白いと思ったものがありました。今回はそれをご紹介します。 全体のイメージは以下の通りです。 目次 SSM インベントリによるマネージドインスタンスのメタデータの収集 AWS Config 設定レコーダーによるリソースの設定変更記録 やってみた 1. AWSConfig レコーダーの設定 2. Systems Manager インベントリのセットアップ 3. マネージドインスタンスの作成 4. yum アップデートの実行 終わりに
VACUUMでPostgreSQLのゴミデータをお掃除！ - RAKUS Developers Blog | ラクス エンジニアブログ
今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、PostgreSQLには普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかもゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやるというように調整しながら掃除をしてくれます！ ですがしっかりお世話をしないと、「あまりにも時間がかかりすぎる」「途中でやめてしまった」といったトラブルが発生します。 今回はそんなPostgreSQLのVACUUM機能を紹介したいと思います。 PostgreSQLのレコード更新／削除のしくみと問題点 1. PostgreSQLにおけるレコードの更新／削除のしくみ 2. ゴミデータが溜まることの問題点 PostgreSQLにおけるVACUUMの役割 1. 不要領域の回収／削除 2.
データ基盤移行を振り返る
はじめに こんにちは！シンプルフォームの山岸です。 弊社では社内向けのデータ分析基盤としてこれまで Amazon Redshift を利用してきましたが、昨年6月に Snowflake の導入を決定し、移行に向けた検証・構築を進めてきました。当時の技術選定については、以下の Findy Tools レビュー記事でもご紹介しています。 昨年末に Snowflake 基盤の提供を開始してからは、旧 Redshift 基盤の運用を停止すべく既存クエリ資産の移行に奔走していましたが、先日ようやくの終わりを迎えました。 上記のレビュー記事では技術選定をメインに扱いましたが、本記事では弊社データ基盤の歴史と、データ基盤移行のプロセスについて振り返ってみたいと思います。 SimpleForm データ分析基盤の歴史 ① データ分析基盤がなかった時期【- 2022.12】 弊社は主に金融機関のお客様を対象に
name: Scheduled build on: schedule: # 月曜日の 11:00 (JST) に処理を実行する。 # UTC の 02:00 は JST だと 11:00 。 - cron: '0 2 * * 1' jobs: build: name: build runs-on: ubuntu-latest steps: - name: curl run: curl --show-error -X POST -d {} "${{ secrets.BUILD_HOOK_URL }}" # で始まる行はコメントです。 name の値は処理には影響しないのでわかりやすい値をセットして使うとよいと思います。 記事執筆時点では runs-on に ubuntu-latest を選べば前準備なしで curl が使えました。 リポジトリの Settings → Secrets で BU
スマートホームで職場(自室)環境を改善してみた - KAKEHASHI Tech Blog
こんにちは、カケハシでMusubi Insight のバックエンドエンジニアをしている高田です。 私はカケハシへの入社と同時に兵庫県移住し、現在フルリモートで勤務しています。 そのため自室=職場であり、より生産性が上がり、気持ちよく働けるよう環境を改善したいと前々から考えていました。 そこで、冬休み使って職場（自室）の環境改善を行なったので、その内容をご紹介できればと思います。 解決したい課題 とくに冬場になり、仕事開始時の室温が低く、集中し始めるまでに時間がかかるという点を課題に感じていました。 実際に快適な室温を保つことで、タイピングミスが減ったり、一定時間内のタイプ量が増えるなど、生産性が上がるという調査結果 も報告されています。 もともと寒がりな体質ということもあり、こちらを重要課題として取り組むことにしました。 解決策 今回課題を解決するにあたり、以下のような要件を設けました。
院生など、研究をしてると論文が溜まってくるので文献管理ツールが必須ですよね。私はMendeleyを使っているのですが、研究のログや考察にはNotionを使っているので、文献もNotionでうまいこと一元管理できたらいいのになーと考えていました。そこで今回は主に、研究でNotionをヘビーに使われている方や、Notionで既に文献管理をされている方向けに、文献管理の一例 ↓をご紹介します。 完成形のイメージ実装の一例を早く見たい方は [本題] PaperpileとGAS + Notion APIで実装する、までスキップしてください。 文献管理ツールに求める機能私が特に求めているのは、以下の4つの機能です。 文献の管理と検索 文献のメタ情報（e.g. タイトル・著者・出版年・ジャーナル）の自動取得 文献のPDF保管（ストレージ）と閲覧・コメント（PDFビューワー） 文献内容のメモ（エディタ）
※本稿はテックブログからの転載です。 こんにちは。株式会社JDSCエンジニアリングメンバーの秋山です。 最近、データリネージという言葉を耳にしませんか？ データのリネージ（出自血統）。要するにデータウェアハウジングにおいて、データの生成経路を明らかにして、複雑化するデータパイプラインのマネジメントやガバナンスを強化するというもので、堅牢なデータ基盤を構築するにあたって、これからどんどん深堀りされていくだろうことはわかります。 ▲今はまだ明確なトレンドになっていないけど、徐々に右肩上がりになりつつありますね…。 引用元：Google Trends 「data lineage」https://trends.google.co.jp/trends/explore?date=2016-01-01%202021-05-21&q=data%20lineage (参照 2021–05–21) 今回は、そ
はじめに Obsidian のインストール Obsidian の設定 Obsidian の基本操作 プラグイン Excalidraw プラグイン Advanced Tables プラグイン Remotely Save プラグイン まとめ はじめに Notion からの乗り換え先として、Obsidian を紹介します(Obsidian はその名前(黒曜石)と、アイコンのデザインで損しているアプリだなぁと思います)。 Notion ではマークダウン風の記法ができますが、Obsidian ではそのままマークダウンファイルを扱います。このファイルは、ローカルにそのまま *.md ファイルとして保存されるため、例えば一括置換なども自由に出来たり、Gitリポジトリに入れることができたりと、取り回しの自由度が格段に上がります。 Notion の行志向的な編集に馴染めなかったり、テーブルをテキストデータと
GraphQLスキーマをサーバーサイドからクライアントサイドに自動同期し、変更履歴も確認したい - いけだや技術ノート
似たような話が先日ありましたね。 こちらはGraphQLではなくてOpenAPI、かつサーバーサイド側のリポジトリからクライアントサイド側のリポジトリにプッシュする方式でした。 今関わっているプロダクトでは、1つのGraphQLスキーマが複数のリポジトリから必要とされていたり、それぞれで同期タイミングを制御できたらいいかなということもあったりで、クライアントサイドからGitHub Actionsの定期実行でプルする方式で更新をしています。 イメージは次のとおり: name: Update GraphQL Schema on: schedule: - cron: "0 0 * * 1-5" # JSTで月曜〜金曜の9時、これは適当です workflow_dispatch: jobs: UpdateGraphQLSchema: runs-on: ubuntu-latest steps: - u
みてねのE2E自動テスト導入戦略
みてねのE2E自動テスト導入戦略こんにちは、みてね事業部 プロダクト開発グループ QAチームの森島です。 この記事では、「家族アルバム みてね」の品質において欠かせないテスト自動化プラットフォームのMagicPodの導入と定着に至る導入戦略についてご紹介します。 MagicPodを導入する前の状態について（約一年前）みてねでは二週間に一度リリースするサイクルで開発を進めており、iOS/AndroidのアプリをStoreにリリースする前に不具合がないか確かめるためのシナリオテスト（以降はリリース前テストと呼びます）を実施しています。 同じテストを繰り返し行うので簡易化できるように、E2E自動テスト（以降は自動テストと呼びます）として実機を使ってローカル環境で構築していました。 これは全てのテスト項目を自動化できておらず、約半分は手動で実施していました。 この時点の自動テストに対する課題は以下
データ分析担当からの投稿こんにちは。ビジネスプラットフォーム部の高尾です。データ分析や、物流、カスタマーサポート、情シスを担当しています。 データ分析においては、いつも、テクノロジーグループのスタッフに助けてもらいながら業務を進めていまして、今日はこのnoteにお邪魔して記事を書きに来ました。 僕自身は、バックグラウンドが化学の研究開発なので、グラフを書くことは大好きでした。 そして、クラシコムに入社してから勉強して、SQLとLookMLは書けるようになったけれど、コードは書くことができない、というスキルセットを持っています。入社以来、社長室に所属して経営に近いところにいたので、KPIの設定や、どういう数字をどうみたいか？というところの勘所を経営陣と密にコミュニケーションできた、という立場から、データ分析を担当することになってきました。 僕が入社した2019年春ころから、徐々に「北欧、暮ら
こんにちは。セキュリティチームでソフトウェアエンジニアをしてる@sota1235です。 この記事は10Xアドベントカレンダーの13日目の記事です。 www.notion.so 昨日の記事はSuzuki Ryotaさんのお届けチームでオーナーシップを持っていくぞでした！ 今回はGitHubの監査ログを定期的にexportし、保存する仕組みを作った話をします。 監査ログとは GitHubの監査ログ GitHubの監査ログは永久には保存されない 監査ログの出力方法 この記事の本題 監査ログ出力の仕組み ざっくり要件 技術選定 ログの保存場所 ログの取得処理 ログの取得・保存処理はGitHub Actionsで行う 全体像 1. BigQueryに最新データを取得しに行く 2. 監査ログを取得する 3. 監査ログを保存する 権限管理 監査ログに含まれるデータについて考える 具体的にどこに制限をつけ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フルスクラッチでECサイトを作る方法とそれを選択するということ - TENTIALのテックブログ
初めて自作OSSツールを業務コードに入れた話 - KAYAC engineers' blog
EvernoteからObsidianに移行しました - あるSEのつぶやき・改
ZOZOTOWNにおけるキャッシュストアのリプレイス - ZOZO TECH BLOG
Firebase FunctionsとPuppeteerでスクレイピングの定期実行するのを作ってみた
BigQueryを徹底解説！(基本編) - G-gen Tech Blog
AWS Lambda(Python)でSelenium + Headless Chromeの実行
データサイエンティストの皆さん不安よな。MLOps動きます。 - Leverages Tech Blog
App Store Connect APIから新規DL数を取得 - Pepabo Tech Portal
【MLOps】Vertex AIによるモデルモニタリングサービスの構築 - Qiita
Raspberry Piで測定した温度湿度気圧をGoogle Spreadsheetsに記録する
第702回 Mattermostの基本的な設定とバックアップ・リストア | gihyo.jp
Databricksクイックスタートガイド - Qiita
AWSの料金を毎日Slackに通知する - Qiita
GitHub Actions ワークフローで処理を定期実行する方法
Notion + Google Driveで「映え」な文献管理｜tk
Data Lineageについて、調べてみました！｜株式会社JDSC
最強のマークダウンメモアプリ Obsidian とオススメプラグイン3選 - A Memorandum
「北欧、暮らしの道具店」データ分析基盤整備の道のり｜Kurashicom Tech Blog
GitHubの監査ログを定期的にexportして保存する - 10X Product Blog