TreasureDataの大量データをSnowflakeへ取り込む - Qiita概要 TreasureDataにある大量データ(100GBレベルのtableデータを複数)をSnowflakeへ取り込む処理を実行しました。 しかし、一筋縄ではいかず、試行錯誤経て比較的シュッとできる方法に辿りつきました。役立ったのはSnowflakeの半構造化データ機能でした。 ここでは、同じような問題に直面された方のお役に立てればと結論と伴に試行錯誤の過程を記します ※1年近く運用してわかった改良版も投稿済みです、ご参照ください 結論 TDからSnowflakeへの大量データの移行は「TD→Snowflake」の直接移行は不可能でしたが、 **「TD→クラウドストレージ(s3)→Snowflake」**とクラウドストレージ経由にすることで、ほぼ手動調整無しに実現可能になりました。 手順は以下になります。 1. Snowflakeに適切なtable定義を作る。 TDのSnowflakeE
