BigQueryでサッと試す推薦アルゴリズム - Re:ゼロから始めるML生活
この記事は （1人で）基礎から学ぶ推薦システム Advent Calendar 2022の10日目の記事です。 前回までで、推薦システムを考える上でのさわりの部分は確認できたと思うので、ちょっとずつ実務っぽい話にシフトしていこうと思います。 実務で難しい推薦アルゴリズムを実装する前に、「チューニングとかはおいておいて、だいたいどれくらい効果が出るのかサッと試したい」という場面があったりします。 腰を据えてしっかりアルゴリズムを調整するならPythonでGPUを使って一つずつ実験をして…といった試行を繰り返すことになるかと思いますが、「安い！早い！うまい！」みたいなのが求められる状況では、Pythonを使うよりお手軽にサッと実装できると嬉しかったりします。 ということで、今回はSQLで推薦アルゴリズムを書いて、BQの計算能力でぶん殴るやりかたをやってみたいと思います。 問題設計 Datase
BigQuery MLで商品一覧画面の並び順を改善して売上を40%上げた話 - OVERS
目次 はじめに 自己紹介 内容概要 基本設計 TCVのビジネスモデル 施策内容 システム構成 フェーズ１: とりあえずAutoMLを使ってみる フェーズ２: 目的変数を変える フェーズ３: BigQuery MLの導入による検証高速化 フェーズ４: 国別 フェーズ５: 回帰ではなく分類へ フェーズ６とその先へ おわりに はじめに 自己紹介 じげん開発Unitデータ分析基盤チームの伊崎です。 開発Unitは特定の事業部に所属しない全社横断組織です。 その中で、データ分析基盤チームは全社のデータ基盤の整備、データ利活用を担当しています。 私個人としては、大学で純粋数学を学んだ後、前職でエントリーレベルの機械学習エンジニアとして働きました。現職では半分データエンジニア、半分データサイエンティストとして働いています。 プライベートでKaggleに参加し、銅メダルを獲得した経験があります（最近は活動
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
BQMLに新たに追加されたTRANSFORM句で、モデルの前処理を自動的に行う - Qiita
これなに? F81アドベントカレンダー二日目担当の長谷川です。 BQMLに新たに追加されたTRANSFORM句についての解説します。2019/12/2時点で、まだ日本語の公式ドキュメントが存在しないことから、記事にしようと思いました。なお、現時点ではまだこの機能はBetaです。英語の公式ドキュメントは存在するので、興味があれば、こちらも参考することをお勧めします。 今回の記事では、BigQuery(ML)の基本事項は一切説明しません。BQMLで使用できる関数などについては前記事を参照してください。 TRANSFORM句とは? 行いたい前処理をモデル構築時に定義し、予測、評価時に自動的に実行するためにしようするSQLの句(clause)です。 これにより、BQMLで作成するアルゴリズムとそれに伴う前処理を一体化させ、モデルを構築することができます。 前処理をモデルの中に集約し、隠蔽できるので
BigQueryで傾向スコア分析｜Dentsu Digital Tech Blog｜note
電通デジタルで機械学習エンジニアをしている今井です。 本記事では、BigQueryで傾向スコア分析を行うための方法について紹介します。 広告効果ってあったの？広告効果とは、広告に接触した場合と接触していない場合とのその後のコンバージョン（例えば、購入金額や継続期間など）の差である、と言えます。 しかしながら、同一ユーザーにおいて、広告に接触した場合と接触していない場合とを同時に観測することはできません。 これを反実仮想（counterfactual）と呼びます。 そこで提案されたのが平均処置効果（average treatment effect, ATE）です。 広告に接触したユーザー群（𝑤=1）と接触していないユーザー群（𝑤=0）とのその後のコンバージョン（𝑦 ）の差を広告効果とするものです。 ここで、介入（広告に接触する）の有無以外の条件が公平になるようにユーザー郡が分かれていれ
DataflowとTFRecordでシームレスなMLパイプライン構築
最近では、機械学習を用いた事例が徐々に聞かれるようになってきました。しかし、MLエンジニアの方々からは「モデルを作ったはいいが、プロダクションに持っていくのは難しい」という声をよくいただきます。この要因は様々ですが、システムとして考慮しなければならない構成が多いというのが主だった要因になっています。 モデルはシステム全体のごく一部（黒い四角部分）中でも特にMLエンジニアを悩ませるのは、データの前処理ではないでしょうか？機械学習では学習と推論時にデータを入力する必要がありますが、プロダクション時のデータは取得してそのままモデルに入力することはできません。なぜなら、データには欠損があるかもしれないし、画像ならモデルに合わせてサイズや階調を変える必要があるからです。さらに、これらのデータが大量にある場合は、１台のマシンでは処理しきれなくなるため、分散環境を構築する必要があります。そして、将来どこ
BigQuery ML を使ってみた話 - Speaker Deck
Machine Learning Casual Talks #6 (https://mlct.connpass.com/event/94911/) での発表資料です． BigQuery ML の説明と，実サービスに導入した事例についての紹介を致しました．
「BigQueryML」でSQLを書いて機械学習モデルを構築&予測できる！ - Qiita
BigQuery上でpythonなどを使わずにSQLを用いてそのまま機械学習を回せるBigQueryMLという機能がベータ版で出ました！ 公式のチュートリアルを回してみて、かなり手軽に機械学習モデルを回せるのと、pythonよりも簡単にモデルの評価ができるので感動しました。 チュートリアルではBigQueryのサンプルデータを用いていたのですが、この記事ではKaggleのtitanicデータを対象にモデル構築、評価、KaggleへSubmitまでやってみようと思います。 All BigQuery ML Documentation Getting Started with BigQuery ML for Data Analysts 前処理 https://www.kaggle.com/startupsci/titanic-data-science-solutions このカーネル（公開されて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BQML blocksを使ってLookerでBQMLしましょう
明日から役立つ BigQuery ML 活用 5 つのヒント | Google Cloud INSIDE Games & Apps: Online