自分は BigQuery で Extract-Load されたデータを機械学習モデル用に前処理し、テラバイト級の特徴量エンジニアリングを行っています。この記事では、BigQuery のデータ量を一切消費せず、誇張なく 1 円も溶かさない裏技をまとめます。(2019/12/18 現在) ※ パロ元:BigQueryで150万円溶かした人の顔 元ネタの方と同じ職場で働くことになりましたので、被せて書いております。この記事では、BigQuery 記事最安値を目指します。 速くて安い BigQuery は、データウェアハウスとしても、特徴量エンジニアリングツールとしても優れており、機械学習モデルを用いたサービスを構築する際には、ベースラインとして一候補に挙がるでしょう。 BigQuery の料金 オンデマンドクエリを利用する際、極めて重要なのは読み取りデータ量に対して \$5/TB の料金が発生す
![BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/13c8ede5efdb44030cb7ca20841ba1c4c4a585be/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QmlnUXVlcnklMjAlRTMlODElQTclMjAxJTIwJUU1JTg2JTg2JUUzJTgyJTgyJUU2JUJBJUI2JUUzJTgxJThCJUUzJTgxJTk1JUUzJTgxJUFBJUUzJTgxJTg0JUU0JUJBJUJBJUUzJTgxJUFFJUU5JUExJTk0JTIwJTI4WkVSTyUyMEJZVEUlMjBTVFJVQ1QlMjAlRTMlODIlOTIlRTglODAlODMlRTYlQTElODglRTMlODElOTclRTMlODElOUYlMjkmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTQ0NTY3N2EyOGU5YjcyZDE0YTVkMDlkNzBlNWFiYzQx%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBuYTAmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTYyZTAzYjc3ZTdmNzgyNTZmZDFhNzliOWM1YWFlMjUw%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Ddd1531a8abfcc14ab8df16e2968b1aee)