Snowflake で1万"列"データを扱う技術 - Qiita

そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな

[lnimroder]

最終的に100万行取り込んでるので行列の転置でも解決できなかったと思う

[yo4raw]

列志向型のDBなんだから10レコードしかないならカラムとレコード入れ替えてから処理すれば良いのでは？

[nmcli]

1,000 以上の列が必要な要件に出会ったことがなかったので考えたことも無かった、面白い

[tuki0918]

諦めて、id, name, value, value_type みたいな形に変換するかもしれない

[rna]

なんかすごい

[misshiki]

“ Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内”

[shodai]

“そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思います”

[Fluss_kawa]

特徴量行列とか作るとやたら横に長い表ができるんですよ。縦持ちしてたなぁ。全部を一気に使うことはあんまりなかったから。

[fog-og-frog2]

思考実験としては面白いけどさぁ……あ、でもPySparkのDF作るのに、年月日をカラムIDに取り入れてたテーブル、重すぎて泣いたことあるから人の事言えねぇ。。。

[daruism]

15000列とか想像したこともなかったわ。ヤバすぎて草

[atsuizo]

なかなか地獄味ある。

[sasasin_net]

ヤバそうだと直感できるが、具体的なヤバさは即答できなかった。こんなんなるのか〜