タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
GitHub - qnighy/bqpb: BigQuery UDF to parse protobuf messages
CREATE TEMP FUNCTION parseProtobuf(input BYTES, messageType STRING, typedefs JSON) RETURNS JSON DETERMINISTIC LANGUAGE js AS r""" // bqpb v0.1.0 // (c) 2023, Masaki Hara. Licensed under the MIT License. "use strict";function t(t){ const n=(t+"=").indexOf("="),e=new Uint8Array(.75*n|0);for(let r=0;n>r;r++){ const n=t.charCodeAt(r),o=.75*r+.75|0,i=n-(96>n?64>n?48>n?47>n?-19:-16:-4:65:71)<<2+r%4*2 ;e
OSS の Google BigQuery UDF `bqutil.fn` を使えば UDF の独自実装を置き換えられるかもしれない
OSS の Google BigQuery UDF `bqutil.fn` を使えば UDF の独自実装を置き換えられるかもしれない 2022-01-20 TL;DR;UDF を独自実装する前に、bqutil.fnを眺めておくと車輪の再発明が回避できるかも 背景SQL は、特定の処理を行う際にデータの型が同一でないとエラーが発生しますが、もとのスキーマを紹介するよりももっとお手軽にカラムの型を確認したいときがありませんか? 例えば、出力結果を見ただけでは、12345 が STRING なのか INT64 なのか判別不可能ですよね。(もし判別可能な方法知っている人いたら教えて下さい…) GCP による OSS UDF の bqutil.fnなのでお手軽に BigQuery の結果の型を確認したい時になにか良い方法がないかなと調べていたら、OSS でbqutil.fnという UDF が GCP
データ ウェアハウスを BigQuery に移行するなら、Dataform による BigQuery UDF の単体テストを実施しましょう | Google Cloud 公式ブログ
データ ウェアハウスを BigQuery に移行するなら、Dataform による BigQuery UDF の単体テストを実施しましょう ※この投稿は米国時間 2021 年 10 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery への移行時には、BigQuery ネイティブ関数の充実したライブラリを利用して分析ワークロードを強化できます。既存の関数は、独自のユーザー定義関数（UDF）で拡張することも可能です。人間誰しもミスをするものなので、単体テストを作成して UDF が正しく動作するかを検証することをおすすめします。Dataform のコマンドライン ツールはこのニーズを満たし、すべての UDF の単体テストをプログラムで実行できるようにします。 2020 年に Google Cloud が買収した Dataform は、BigQuery
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
BigQuery 認可済みの UDF を利用した安全な ID マッチングはじめに自社サービスの顧客理解や、効率的な広告配信、パーソナライズした顧客アプローチを行うために、顧客データを収集・統合・分析を行う企業が非常に増えています。 その中の多くの企業は、自社サービスの顧客データだけでの分析を行っているのではなく、その企業・グループ会社が保有する様々なサービスの 1st Party Data（CRM） とのデータ統合や、もしくはパートナー・外部企業が持つ顧客データ（DMP）とのデータ統合を行い、顧客データをリッチにすることで より深い顧客データ分析を行っています。その ID データ統合の手法のことを「ID マッチング/名寄せ/突合」などと呼ぶことが多いです。 このような社内外とのデータ交換・データ共有の取り組みが一般的になってきたものの、実際に行っているプロセスを見ると、下記のような手法が散
マイベスト データエンジニアの snhryt です。 先月頭に、BigQueryにユーザー定義関数 (UDF) をPythonで書ける機能がプレビュー版でやってきました🎉 少し時間が空いてしまいましたが、自分でもいろいろ触って完全に理解した[1]ので、体験記をまとめます。
GitHub - scholtzan/python-udf-bigquery: Running Python Code in BigQuery UDFs
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Bit reversal - ビット順反転とは タイトルには BigQuery とあるのにいきなり Spanner の話から始まります。Spanner には BIT_REVERSE という関数があります。これはビットの並び順を反転させるもので、たとえば Spanner 上で SELECT BIT_REVERSE(3, TRUE) をクエリすると、INT64 の 3 をビット列（2進数）で見たときに、最上位の符号ビット以外のビットの並び順を反転した値である 6917529027641081856 値が返ってきます。 Spanner の BIT_REVERSE() 関数によるビット順反転のイメージ 一般に RDBMS の主キー（PK）には連番が採用されることが多いと思います。しかし連番のように単調増加するキーというのは、Spanner のようなキーの範囲で自動シャーディングを行う DB では、
BigQueryのJavaScript UDFでcheerioを使ってHTMLを解析する | DevelopersIO
最近BigQueryを使い始めまして、かなり使い勝手がよく色々なことができて気に入っています。中でもJavaScript UDF（ユーザ定義関数）が便利そうと思い、試しに使ってみました。 JavaScript UDFとは、ユーザが定義したJavaScriptの関数を、BigQueryのSQLの中で実行できる機能です。 ユースケース WordPressのようなCMSサービスを想像してください。このサービスでは、データベースのカラムでHTMLを管理しています。このHTMLから、特定の要素を抽出してみたいと思います。 やってみる JavaScript UDFの準備 HTMLの解析には、cheerioを使用することにします。しかし、JavaScript UDFでは、requireが使えないため、直接ライブラリを読み込むことができません。そこでWebpackなどのビルドツールを利用し、ライブラリを単
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQueryで祝日判定UDFを公開した&AlphaSQLで依存関係気にせずデプロイ - Qiita
BigQuery 認可済みの UDF を利用した安全な ID マッチング
BigQuery Python UDF 完全に理解した
SQLに力を：Databricks SQLにおけるPython UDFのご紹介 - Qiita
ビット順反転処理を BigQuery の SQL UDF で書く
pleasantbreeze.hatenablog.com
saleem.hatenablog.com
hkmn.jp
hkmn.jp
hkmn.jp
www.nikkei.com