BigQuery Emulatorの活用例、直面した問題の紹介とその解決アプローチ - enechain Tech Blog
この記事は enechain Advent Calendar 2023 の 14 日目の記事です。 本日は eScan デスクのエンジニアの平田が担当します。 eScan では以前 BigQuery + Argo Workflowsを利用した計算処理基盤の構築 で紹介した通りリスク計算の基盤として BigQuery を使っています。また、他にも非同期処理に Pub/Sub や、ファイルストレージに Cloud Storage を利用するなど Google Cloud Platform のサービスを利用しています。 各自のローカルでの開発時やテストの際には、これらのサービスは実際の GCP のサービスに接続せずエミュレータを利用しています。 今回はこのうち BigQuery Emulator の活用事例と、BigQuery Emulator を利用する中で得た Tips を紹介します。 Bi
ホスティング事業部 SREチームの @takumakume です。 11/21に「技術的負債に向き合う Online Conference」 が開催されました。 ペパボからは、技術責任者の @kenchan と @takumakume が登壇しました。 この記事では、@takumakume が登壇した「ソフトウェアの継続的アップデートをコンテナ化によって加速させる」というタイトルのLTについて紹介します。LTでは駆け足の説明でしたので、補足的な位置づけとなります。 簡単に説明すると 変更しにくいシステムは放置されるので、コンテナ化して変更しやすくした！ という話です。 以降で詳しく説明していきます。 ソフトウェアアップデートの必要性について ソフトウェアを継続的にアップデートしなければシステムは徐々に壊れていきます。予想外のタイミングと規模でアップデートを強制されることに繋がり、ビジネスに
新卒1年目がECSにCanary Releaseを導入し信頼性を高めた話〜PipeCD〜 - Qiita
はじめに こんにちは、サイバーエージェントのAI事業本部でバックエンドエンジニアをしている23卒の高橋です。 CD環境をGitHubActionsからPipeCDに完全移行したので、その知見や感想について共有したいと思います。 背景 現在のデプロイフローはGitHubActionsを採用しており、以下のような非常にシンプルな手順になっております。 1. workflow dispatchで手動実行 2. GitHubActionsがImageをビルドし、ECRにPushします Imageタグを指定して、以下のworkflowを手動実行 SSMの値を書き換え,terrafrom apply これらの手順を追うことでビルドからデプロイまでの作業が完了します。 課題点 このデプロイ方法には以下のような課題点がありました ビックバンリリースのリスク ロールバック問題 誤操作のリスク 多様なデプロイ
質問内容に対して、手動で実行しその結果をドキュメントに残していれば0.5、CIなどに組み込まれ自動実行されている場合には1.0、どちらにも該当しない場合には0といった形で回答し、各領域においてスコアを合算し、そのスコアの最小値が最終的なMLOpsScoreです。 前回報告した際の、合併前のヤフー株式会社のプロダクトにおける MLOpsScoreの結果は以下の通りでした。 元論文の判定基準に当てはめると、現行のスコアは「基礎的なプロジェクトの要求事項は通過した。しかし、信頼性向上のためのさらなる投資が必要とされる」という判定です。当初はこのスコアが2を超える、「適切なテストがされているが、さらに自動化の余地が残っている」を達成することをいったんの目標としていました。 また、各カテゴリごとに分解して見てみると、特にモニタリングの領域について課題がありそうなことがわかります。 取り組んできたこと
The declarative paradigm is becoming ubiquitous in data engineering, to the point we sometimes feel we became YAML developers. Yet, I’ll argue it’s a good thing! Let’s take a step back and look at what it means to be declarative, and how it impacts the data systems we build. Data & logicFundamentally, a data platform is made of 2 pieces: Data. On the frontend, we find the actual files, tables, das
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソフトウェアの継続的アップデートをコンテナ化によって加速させる - Pepabo Tech Portal
LINEヤフーMLOps推進チームの取り組みのその後
YAML developers and the declarative data platforms