エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
MySQLからEmbulkを使用してGoogleBigQueryへデータをロードする - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
MySQLからEmbulkを使用してGoogleBigQueryへデータをロードする - Qiita
ユースケース RDBへ書き込んでいたログデータをBigQueryのようなDWHに取り込みたい時に 簡単にバルクイ... ユースケース RDBへ書き込んでいたログデータをBigQueryのようなDWHに取り込みたい時に 簡単にバルクインサートしてくれます。 (もちろんRDBとBigQueryだけの関係でもありませんが) 特にログデータとは限らないのですが、時間とユーザーさんの数が増えるごとに「永遠に増え続けるデータ」をRDBへ書き込んでいた。 そのまま時間が経ってしまい「単一のTBLのレコード数が数千万になってしまった」 時に利用すると良いと思います。 「最初からFluentdで送っておけば良いじゃない」というのはごもっともですが。 Embulkを使わない方法 mysqldump -> csv -> gcs(awsのs3のような物) -> Big queryヘロード が妥当かと思います。実際やってみましたが簡単です。 が、一回きりのロードであればこれでもいいのですが 「定期的に取り込みたい」 「バルクロードで