はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一連の処理を実行するワークフローの構築にGoogle Cloud Platform（GCP）のVertex AI Pipelinesを利用しています。 本記事では、Vertex AI Pipelines採用前の運用とその課題点について説明し、次にVertex AI Pipelinesで構築し

Baseball Play Study mini 2022/5/27 登壇資料

はじめに BigQuery MLを使うと、BigQueryのテーブルさえあれば機械学習の学習も予測ができます。 この記事では、下記について書きます。データの前処理と予測した結果をテーブルに入れるとかは細かく書きません。またバージョンアップのスピードが速い機能なので、この記事やほかの記事も読む際には、書かれた日にちにご注意ください。この記事は、2022年5月27日時点です。 1. 学習 2. 学習結果の確認 3. 未知のデータに対する評価 4. 未知のデータに対する予測 基本的に、↓こちらのGoogleのクイックスタート（チュートリアル）のトレースです。 前提 データはKaggleのBreast Cancerを使います。※ 列名にスペースが入ってたので「_」に置換してあります。 ロジスティック回帰で、malignant（M:悪性）かbenign（B:良性）を予測します。B:M=63%:37%

楽天グループは2022年4月19日、ユーザーの属性情報や行動情報などを分析するデータベース（DB）である「楽天スーパーDB」の稼働環境に、米Google（グーグル）のクラウドサービス「BigQuery」を採用したと発表した。これまでオンプレミス環境のデータウエアハウス（DWH）で管理していた数ペタバイト級のデータを、クラウド上のDWHサービスであるBigQueryに移行する。 楽天スーパーDBとは、同社が世界中で展開する70以上のサービスを使うユーザーの情報を分析する巨大なDBだ。グループ共通IDである「楽天ID」のアカウント数は、日本国内で1億を超える。蓄積した情報は、サービスのパーソナライズ機能やレコメンデーション機能、行動ターゲティング広告機能などに使用している。 日経クロステックの取材に応じた楽天グループのロヒット・デワン執行役員Cloud Platform Supervisory

くら寿司：GKE や Edge TPU などを駆使して来店から会計までを完全自動化し、新しい生活様式のためのサービスを提供 大阪を起点に日本全国 47 都道府県すべてに店舗を展開する大規模回転寿司チェーンくら寿司株式会社（以下、くら寿司）。浅草や道頓堀、原宿、押上に「食」と「エンターテイメント」の融合を掲げ、「ジャパンカルチャー」の発信拠点とするグローバル旗艦店をオープンするなど、とりわけ “体験” にこだわる同社が、最新のクラウド テクノロジーをどのように活用しているのか。その取り組みと成果を、テクノロジー開発部の皆さんに伺いました。 利用しているサービス： Google Kubernetes Engine、Compute Engine、App Engine、Edge TPU 利用しているソリューション： アプリケーションのモダナイゼーション コンテナや AI など Google Clo

Google Forms APIが正式リリース。Googleフォームの作成や編集、集計などをプログラミングで制御可能に アンケートやクイズなどを簡単に制作できるGoogleフォームをAPI経由で作成、編集できる「Google Forms API」が正式版となったことを、Googleが発表しました。 Introducing the new Google Forms API! Developers can now build powerful integrations on top of Forms. Here's how you can use the new Forms API and what’s in it → https://t.co/zLcaEw2ru1 What will you build for Google Workspace? pic.twitter.com/oSkPqx

Good Data Analysis Stay organized with collections Save and categorize content based on your preferences. Author: Patrick Riley Special thanks to: Diane Tang, Rehan Khan, Elizabeth Tucker, Amir Najmi, Hilary Hutchinson, Joel Darnauer, Dale Neal, Aner Ben-Artzi, Sanders Kleinfeld, David Westbrook, and Barry Rosenberg. History Last Major Update: Jun. 2019 An earlier version of some of this material

背景 & Disclaimer 自分自身はこれまでBigQuery Scriptingをほぼ使っていませんでした BigQuery自体は3年くらいの利用歴 SQL単発で済ませるのが苦しそうな場合は、Pythonなどのプログラミング言語 + ワークフローエンジンの組み合わせで戦っており、自分としては特に困っていなかった 社内で他の方が使うケースをぼちぼち見ることがある 自分は困っていなくても、社内のBigQueryユーザーでBigQuery Scriptingを使っていて困っている人がそれなりにいる 著者はそれなりのBigQueryユーザーがいる企業のデータ基盤の人間です さすがに「使ったことないので、分からないですねー」で済ませるわけにはいかなくなってきた そもそもどんなユースケースで便利なのかすらも分かっていない状態なので、便利そうに思える場合をまとめてみることにしました というわけで、

Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概

「出会いからイノベーションを生み出す」というミッションのもと、「ビジネスインフラになる」というビジョンを掲げ、生活を支える電気やガス、水道のようなインフラとなるサービスを提供することで、顧客企業のビジネス変革を支援することを目指す Sansan株式会社（以下、Sansan）。2020 年 5 月よりサービスの提供を開始したクラウド請求書受領サービス Bill One の開発基盤として、また請求書を機械学習により解析し、OCR でテキスト化する機能の実現に Google Cloud を採用しています。このプロジェクトについて、CTO、および 3 名のエンジニアに話を伺いました。 利用している Google Cloud ソリューション サーバーレス コンピューティング 利用している Google Cloud サービス App Engine、Cloud Run、Cloud Functions、C

今回はクラウドにデータベースを新たに構築したり、移行する際に知っておくべき、デジタルトランスフォーメーション（DX）時代のデータベースの「新常識」を3つ紹介しよう。 DXの要請から素早い環境変化に対応するために進むクラウド活用。データベースもクラウドでの構築がスタンダードになりつつある。DXの進展でデータベースに対して、これまでより高い次元の要件が求められてきた。 その1つが、収集するデータや分析・利用形態の多様化だ。例えば小売業などでは、従来の顧客や売り上げのデータをベースに、天候や気温、交通情報、店舗近隣のイベント情報などさまざまなデータを組み合わせて分析したいとのニーズが高まっている。分析結果を迅速な予測に生かしたいとなれば、発生してからタイムラグのないデータの取得も求められる。 高度化する要件に応えるため、データベースは進化を続けている。その結果、データベースにも新たな常識が生まれ

2022/01/27_スタディサプリのデータ基盤を支える技術 2022 －RECRUIT TECH MEET UP #3－での、橘高の講演資料になります

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

今の KPI はビジネス成長に貢献しているか？ 「バイトル」が部門横断のデータ整備から真の KPI を問い直す

「Yahoo! Japan」といったサービスを提供するメディア事業であると同時に、国内屈指の規模を持つWeb広告プラットフォーマーでもあるヤフー。2021年に扱ったWeb広告の数は数千万件に上るという。一方、同社は広告配信で課題も抱えていた。ガイドラインに沿わないコンテンツを除去する「広告審査」に手間がかかることだ。 同社が広告事業を始めた96年当初は人力で、途中からは自社開発した広告審査システムを使って不正な広告を除去していたが、件数が増えるにつれて作業が追い付かなくなった。そこで、AIを活用した審査システムを新たに開発。20年1月にこれまでのシステムと併用を始めたところ、工数の削減に成功したという。 プロジェクトを手掛けたのは、ヤフーのエンジニアである伊藤瞬さん（メディア統括本部トラスト＆セーフティー本部プロダクト開発部長）。伊藤さんは当時、社内制度を活用して部署を移動したばかりで、A

モデルの構築ここでは、BigQuery ML の線形回帰モデルを利用します。 CREATE MODEL ... OPTIONS 文にて指定したアルゴリズムで BigQuery ML モデルを構築します。今回構築する線形回帰モデルで指定できるパラメータの詳細については以下公式ドキュメントをご参照ください: The CREATE MODEL statement for generalized linear models 以下が基本的な構文となります。SQL を利用して直感的にモデル構築を行えます。 CREATE OR REPLACE MODEL taxi.total_amount_model OPTIONS ( model_type='linear_reg', input_label_cols=['total_amount'], ) AS SELECT * FROM `taxi.sample_

｜目次 1. はじめに 2. MLOpsとは 3. VertexAIの概要 4. Vertex Pipelineについて -概要 -コンポーネントの実装例 -パイプラインの実装例 -Vertex PipelineでのKubeflow Pipelineの実行 5. まとめ 6. 参考資料 ｜1. はじめに 株式会社CAMで機械学習エンジニアをしています原 和希です。 データ分析から機械学習モデルの作成、そしてMLOps基盤の構築を担当しています。 今回はMLOps基盤の構築をトピックとして、弊社で導入している「VertexAI」という、GCP 上で MLOps 基盤を実現するためのサービスを紹介します。 本記事は前編と後編に分かれています。 この前編ではMLOpsについてと機械学習パイプラインを実現するためのサービスであるVertex Pipelineについて詳しく解説をします。 後編では、