ブックマーク / qiita.com/na0 (3)

  • BigQueryにASSERT文が来たのでDebuggingのおさらい - Qiita

    2020-07-13 UTC以降、ASSERT文がサポートされました。 検証結果がTRUEであることを検証できます。 ERROR関数に次いで、2番目のDebugging系の機能です。 2020-07-14 10:36 JST現在、US以外のロケーションではサポートされていないようです。 BigQueryには、従来ERROR関数があり、ないべき値はERROR関数で記述することができました。 新たにリリースされたASSERT文は、文であり、あるべき値をASSERT文で記述できるようになりました。 ASSERTの使い方 ASSERT文は、あるべき状態を検証します。プログラミングのASSERTのように、TRUEでない式が評価された場合にエラーを発生させます。ただし、デバッグレベルを調整して無視するような機能は今のところBigQueryにはないです。 文ですので、SELECT文と同じレベルで記述しま

    BigQueryにASSERT文が来たのでDebuggingのおさらい - Qiita
  • BigQuery アクセス権設定まとめ & グループ設計例 - Qiita

    2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象(プロジェクトやデータセット)を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以

    BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
  • BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita

    自分は BigQuery で Extract-Load されたデータを機械学習モデル用に前処理し、テラバイト級の特徴量エンジニアリングを行っています。この記事では、BigQuery のデータ量を一切消費せず、誇張なく 1 円も溶かさない裏技をまとめます。(2019/12/18 現在) ※ パロ元:BigQueryで150万円溶かした人の顔 元ネタの方と同じ職場で働くことになりましたので、被せて書いております。この記事では、BigQuery 記事最安値を目指します。 速くて安い BigQuery は、データウェアハウスとしても、特徴量エンジニアリングツールとしても優れており、機械学習モデルを用いたサービスを構築する際には、ベースラインとして一候補に挙がるでしょう。 BigQuery の料金 オンデマンドクエリを利用する際、極めて重要なのは読み取りデータ量に対して \$5/TB の料金が発生す

    BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita
  • 1