気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
tech.high-link.co.jpエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
BigQueryへEmbulkで転送するバッチ処理を改善した話 - High Link テックブログ
はじめに こんにちは, 基盤開発チームの奥山(okue)です. High Link では, BigQuery を活用してデータの... はじめに こんにちは, 基盤開発チームの奥山(okue)です. High Link では, BigQuery を活用してデータの分析や可視化, 機械学習への活用を行っています. アプリケーション DB の BigQuery へ転送には, AWS ECS Fargate + Embulk という構成でバッチ処理を実行していましたが, いくつか運用上の問題点がありました. 本記事では, BigQuery へDBのデータを転送するバッチ処理を, AWS Step Functions + AWS ECS Fargate + Embulk で実装し改善した話をします. 改善前の構成と問題点 構成 改善前のバッチ処理は下図のような構成でした. AWS RDS MySQL には 60個以上のテーブルがありますが, それらを BigQuery へ転送する処理を1つの ECS Task で実行していました.
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
tech.high-link.co.jp
tech.high-link.co.jp
tech.high-link.co.jp
tech.high-link.co.jp
www.fnn.jp
www.hotpepper.jp
wpb.shueisha.co.jp
togetter.com
zenn.dev/knowledgesense
www.itmedia.co.jp
xtech.nikkei.com
toyokeizai.net
www.nec-solutioninnovators.co.jp
techblog.enechain.com
www.itmedia.co.jp
engineer-recuruiting.aeon.info
hitomi0.vp.bex.jp
ec-plus.panasonic.jp
