エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする - Qiita
Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境:GCP... Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境:GCP CloudShell digdag version: 0.9.5 digdagのインストール手順は省略: 今回試したのはBigQueryのあるテーブルをAvroフォーマットでGCSに格納する例。 BigQueryやGCSにアクセスするためには個人のアカウントやサービスアカウントを利用するが、処理の自動化を行う際はサービスアカウントを作るのが妥当。 サービスアカウントを作成し、鍵をjson形式でファイル出力する。このファイルをjson.keyとしてCloudShell上に配置。 DigdagのワークフローからGCPにアクセスするためには、Secrets情報としてgcp.credentialを設定する必要がある。 Digdagは秘密情報(パスワードや鍵など)をセキュアに管理するた