エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
trocco を使った Box から BigQuery への冪等データ投入への道|瀬戸口光宏
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
trocco を使った Box から BigQuery への冪等データ投入への道|瀬戸口光宏
この記事は trocco®のカレンダー | Advent Calendar 2023 - Qiita の16日目の記事として書きました。 僕... この記事は trocco®のカレンダー | Advent Calendar 2023 - Qiita の16日目の記事として書きました。 僕が今働いている会社では、お客様である病院から月々の診療行為などに関するデータをお預かりし、その分析を元に経営コンサルティングをするという事業を行っています。 このデータは Shift_JIS の CSV ファイルでいくつかの種類があるのですが、ひと月分のサイズは小さい病院の場合は数KBなのですが大きい病院の場合だと350MBを超えることもあります。 かつてはこれらのファイルをローカルの PC で処理していたそうなのですが、当然のことながらえらく大変です。そこでこの1年ほどは BigQuery にデータを置いて分析をするようになっているのですが、それだけのサイズとなると単に転送するのでさえも大変だし失敗したときのリカバリーも骨が折れます。 ということで、