BigQueryで祝日判定UDFを公開した&AlphaSQLで依存関係気にせずデプロイ - Qiita
BigQuery Advent Calendar 2020の1日目の記事です。 この記事は、BigQueryで公開した祝日判定UDFの紹介と、依存関係のあるUDF群をMatts966氏のAlphaSQLで思考停止デプロイできた事実の共有です。 2023-01-02現在は、Google Cloud版Dataformを用いたデプロイを行なっており、データセットbqfunc.holidays_in_japan__usにて提供されています。 リポジトリ：https://github.com/bqfun/bqfunc 以前提供していた、USリージョン版bqfunc.holidays_in_japanは2023-01-31でサポートを終了します。 USリージョンでお使いの方はbqfunc.holidays_in_japan__usへの書き換えをお願いします。 また、2023-02-01以降、bqfun
BigQuery Materialized View とは - Qiita
この記事は古いです。 2021-02-26のGAに伴い、Materialized Viewができることは大幅に増えました。 ぜひ公式のドキュメントを読んでいただければと思います。 この記事何 BigQuery materialized views が 2020-04-08 に beta になりました。 伴って、ドキュメント1234が増えているので、重要だと思ったポイントをまとめました。 materialized view とは 誤解を恐れずに言えば、最新キャッシュの存在を保証した VIEW です。 メリット 自動 & 手動のキャッシュ再計算が定義されており、メンテ不要で新鮮にできます。 作り方 いつもの CREATE VIEW に MATERIALIZED を入れるだけです。 CREATE MATERIALIZED VIEW `project-id.my_dataset.my_mv_tab
INFORMATION_SCHEMA.JOBS_BY_* で BigQuery ジョブ警察🚨 - Qiita
2020-02-14 に INFORMATION_SCHEMA.JOBS_BY_* ビューがベータになり、誰でも使えるようになりました（BigQuery release notes）。 Cloud Logging で見ていた BigQuery ジョブが BigQuery 単体で追えるようになるアップデートです。何ができるようになったのか見ていきましょう。 最新情報は、公式ドキュメント Getting jobs metadata using INFORMATION_SCHEMA をご確認ください。 INFORMATION_SCHEMA.JOBS_BY_* ビューで BigQuery ジョブの履歴を見る INFORMATION_SCHEMA.JOBS_BY_* ビューを使うと、実行中の BigQuery ジョブと過去 180 日間1の完了したジョブのメタデータを取得できます。 スキーマは後ほど
BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita
自分は BigQuery で Extract-Load されたデータを機械学習モデル用に前処理し、テラバイト級の特徴量エンジニアリングを行っています。この記事では、BigQuery のデータ量を一切消費せず、誇張なく 1 円も溶かさない裏技をまとめます。（2019/12/18 現在） ※ パロ元：BigQueryで150万円溶かした人の顔 元ネタの方と同じ職場で働くことになりましたので、被せて書いております。この記事では、BigQuery 記事最安値を目指します。 速くて安い BigQuery は、データウェアハウスとしても、特徴量エンジニアリングツールとしても優れており、機械学習モデルを用いたサービスを構築する際には、ベースラインとして一候補に挙がるでしょう。 BigQuery の料金 オンデマンドクエリを利用する際、極めて重要なのは読み取りデータ量に対して \$5/TB の料金が発生す
AWS AssumeRoleによるS3クロスアカウント設定手順(他のAWSアカウントのS3バケットへのファイルアップロードを許可する設定 + AWS CLIの自動クレデンシャル取得設定) - Qiita
AWS AssumeRoleによるS3クロスアカウント設定手順(他のAWSアカウントのS3バケットへのファイルアップロードを許可する設定 + AWS CLIの自動クレデンシャル取得設定)AWSS3aws-cli はじめに 複数のAWSアカウントを運用していて、別のAWSアカウントにあるS3バケットへファイルをアップロードしたい事があるかと思います。 本ページでは、2つのAWSアカウント間で、別のAWSアカウントにあるS3バケットへのファイルアップロードを許可する設定、実際にS3バケットへファイルをアップロードする手順について記載致します。 本ページでは、主に以下の手順や設定について記載致します。 [1] AssumeRoleやIAMロール等の設定により、AWSアカウント間でS3バケットへのファイルアップロードを許可する設定。 [2] AWS CLI(aws s3 cpコマンド)でS3バケッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
