BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita

自分は BigQuery で Extract-Load されたデータを機械学習モデル用に前処理し、テラバイト級の特徴量エンジニアリングを行っています。この記事では、BigQuery のデータ量を一切消費せず、誇張なく 1 円も溶かさない裏技をまとめます。（2019/12/18 現在） ※ パロ元：BigQueryで150万円溶かした人の顔 元ネタの方と同じ職場で働くことになりましたので、被せて書いております。この記事では、BigQuery 記事最安値を目指します。 速くて安い BigQuery は、データウェアハウスとしても、特徴量エンジニアリングツールとしても優れており、機械学習モデルを用いたサービスを構築する際には、ベースラインとして一候補に挙がるでしょう。 BigQuery の料金 オンデマンドクエリを利用する際、極めて重要なのは読み取りデータ量に対して $5/TB の料金が発生する

[koyancya]

Lv.20 以降の治安が悪すぎるｗ

[civitaspo]

Lv100 とかよく思いついたなぁ。すごい笑っちゃった笑 こういうのめっちゃ好きです。

[mabots]

特徴量テーブルを作成し、総計 100TB をフルスキャンして結合するのを、中間テーブルを WITH 句に置き換えることで 1 TB 程度の走査量で、100TB の特徴量を結合したテーブルを作成することができました。

[natsutan]

お、ここでAutoML使うんだ。

[yukiyan_w]

よく思いつくなw めっちゃ面白い。 [bigquery]

[tumo300-500]

ネタなのか判断に困る