音声データを BigQuery で分析可能に 🗣️
BigQuery で音声文字変換モデルのプレビュー版をご利用いただけるようになりました🥳 BigQuery 上で 音声ファイルを簡単に文字変換して他の構造化データと組み合わせ、分析を行うことが可能です。（公式ブログもご確認ください！） これまで、音声データをスケーラブルかつ管理された方法で AI モデルに接続して、音声データから大規模なインサイトを得ることは困難でした。なぜなら、音声データの分析を行うためには、音声データの書き起こしのために個別の AI パイプラインを構築する必要があったからです。これらのパイプラインは BigQuery からサイロ化されており、文字変換されたデータを BigQuery に取り込むためにはカスタム インフラストラクチャを作成する必要がありました。 しかし、BigQuery 上で音声文字変換モデルをご利用いただくことで、SQL のシンプルさとパワーを活用して
Analytics Hub で加速するデータシェアリング
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 22 日目の記事です。 皆様、いかがお過ごしでしょうか？ Google Cloud パートナーエンジニアの山中です。 本記事では Google Cloud Next'22 で一般利用（GA）としてアナウンスされました Analytics Hub を用いたデータ共有方法についてご紹介します。 Analytics Hub とは Analytics Hub は組織間でデータを効率よく安全に共有可能とする BigQuery を基盤としたデータシェアリング サービスです。データを共有することに主眼をおいたサービスとなっており、例えばグループ会社間でのデータ共有やオープンデータの公開などのユースケースに適用できます。 Analytics Hubの 仕組み Analytics Hub の仕組みは非常にシ
Workforce Identity Federation を利用する
はじめに アプリケーションモダナイゼーションスペシャリストの関本と申します。 今回は、Google Cloud Japan Advent Calendar の 8 日目の投稿として、アプリケーションモダナイゼーションとあまり関係がない、Workforce Identity Federation についてご紹介します。 TL;DR Workforce Identity Federation を利用すると Cloud Identity を利用せずに他の IdP(Microsoft Entra ID などの外部 ID プロバイダー) の ID で Google Cloud を利用できます。 Workforce Identity Federation とは？ Google Cloud の外部(他のクラウドや Kubernetes など)で実行されているアプリケーションが、Service Accou
FlowiseAI を Cloud Run でセキュアに動かす
FlowiseAI を Cloud Run でセキュアに動かす 本記事では、 GUI でカスタム LLM フローを簡単に作成することのできる Flowise の概要に加えて、Cloud Run 上で セキュアに動かす 方法を紹介していきます。 Flowise とは Flowise とは、GUI でカスタム LLM フローを作るためのツールです。 Flowise v1.3.3 からVertex AI の PaLM API for Text / Chat, Embeddings などに対応しています。 シンプルな LLM Chainから、QnA Retrieval Chain といった Vector store を使う少し複雑なものまで、GUI で作成することができます。 シンプルな LLM chain また、作成したカスタム LLM フローは API として利用することができ、利用する際に必
Cloud Pub/Sub のキホン
みなさん、こんにちは！Google Cloudの高田です。この記事は Google Cloud Japan Advent Calendar 2022の今から始める Google Cloud の12/18の記事になります。（12/18に鋭意作成中 ）この記事では、Cloud Pub/Subについて書いていきたいと思います。(公式ドキュメントはこちら) TL;DR; Cloud Pub/Sub とは何か リアルタイムデータ分析のアーキテクチャ Pub/Sub と Pub/Sub Lite の使い所 その他、知っておいてもらいたい機能 Cloud Pub/Sub とは何か 一言で Pub/Sub を説明すると、スケーラブルで非同期なメッセージングサービスになります。Pub/Sub を使うことによって、アプリケーションやシステムで発生したイベントをトリガとしてメッセージを発行し、さまざまなサービス
BigQuery 向けデータパイプラインサービス「Dataform」の基本的な使い方
この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 20 日目の記事です。 こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataformの紹介をしたいと思います！ Dataformとは BigQuery上でデータ変換を行う複雑なSQLワークフローを開発、テスト、バージョン管理、スケジュール設定することが出来ます。 Dataformのようなパイプライン管理ツールを使わない場合、SQLのバージョン管理や、テーブルAの後にテーブルBを作りたいといった依存管理などをどうするか考えなくてはいけません。 そのような課題を解決してくれるのがDataformになります。 Dataform自体の利用には料金がかからないというのも大きな特徴です！ Dataformの構成要素 Dataformは以下の４つの
Vertex AI Conversation と Dialogflowで実現するお手軽生成AIチャットボット
この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 15 日目の記事です。 皆さんこんにちは。Google Cloudの玉井と申します。普段はパートナーエンジニアとして、Google Cloudの再販や構築をされているパートナー企業様を、技術的な観点でご支援させていただいています。 さて、今回はVertex AI ConversationとDialogflowを活用して『ユーザーのデータに基づいて回答してくれる生成AIチャットボット』を手軽に構築する方法を、実際にサンプルのチャットボットを構築しながらご紹介していきたいと思います。 今年最も注目された技術トピックの一つが生成AIですが、生成AIのユースケースとして挙げられることが最も多いものの一つが『生成AIを搭載したチャットボットを活用した業務の効率化』です。今回ご紹介するVerte
Google Cloud で、決まった時刻にjobを実行する、2つの方法
こんにちは、カスタマーエンジニアの大戸(おおど)です。 この記事は、「Google Cloud Japan Advent Calendar 2022 - 今からはじめる Google Cloud」の17日目の記事になります。 はじめに ここでは、「今から始める Google Cloud」ということで、これから Google Cloud を使っていく/ 使ってみたい ユーザー を対象にした、入門向けの内容になります。 今回は、「決まった時刻にJobを実行する方法」として、「Cloud Tasks」を利用する方法、「Cloud Scheduler」を利用する方法を、それぞれご紹介します。 ここに書くこと/ 書かないこと 今回は、Cloud Tasks/ Cloud Scheduler を初めて使う人向けの記事とし、プロダクトの概要と簡単な比較、使い方に関してフォーカスして記載しています。 ここ
Google Tag Manager から Cloud Retail にユーザーイベントをリアルタイムに送信するための手引き
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 の6日目の記事です。最近とにかくよく触っている、Recommendations AI および Retail Search に関する記事を投稿したいと思います！ Cloud Retail とは Google Cloud では小売向けの主に EC サイトに導入できるサービスを提供しています。これらを総称し Cloud Retail と呼んでいます。 Recommendations AI - 商品のレコメンドサービス Retail Search - 商品検索サービス 商品データとユーザーイベントデータを API や BigQuery 経由でインポートするだけでフルマネージドなレコメンド・検索サービスが利用できます。API を呼び出すだけで結果が得られるので、既に構築済みの EC サイトにも組み込
Cloud Storage + LB + Cloud CDN で静的 Web サイトをホスティングする際のキャッシュ設定をおさらい
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 の 19 日目の記事です。 Google Cloud Storage (GCS) では、静的コンテンツからなる Web サイトを、バケットに保存するだけで簡単に公開することができて便利です。 さらに、Google Cloud の HTTP(S) Load Balancing と組み合わせることで、HTTPS でのホスティングに対応させたり、Cloud CDN と組み合わせることで CDN にキャッシュすることもできるので、アクセス数の多い商用サービスなどでも充分に対応できます。 一方で、このやり方を採用して Web サイトをホスティングする際に、ややこしいのがキャッシュの設定です。特に上記のように LB や CDN と組み合わせた際には、以下のようにキャッシュに関連する設定が複数あるため、
【コスト最適化】BigQuery Editions などの解説と見積もり方法
2023 年度の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、おさらいも交えながら説明をさせていただきたいと思います。また、弊社内で実際に利用している BigQuery のデータセットに対し、この変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing (ストレージ料金)と呼ばれるス
Vertex AI Matching Engine: フルマネージドで利用する Google のベクトル検索
はじめに 本記事では Vertex AI Matching Engine とは何かを簡単に説明して、使い始めるための手順を説明します。本記事の目的は、ベクトル検索を実現するために Matching Engine を使えるようになってもらうことです。 記事全体を理解するためにはある程度のクラウドやプログラミングの知識が必要です 必要に応じて補足したり、リンクしたりしています Matching Engine の背景にある論文等の解説はしません 使い始めるための手順の中でいくつか選択肢があるとき、今後主流になりそうな選択肢の手順のみを説明します とにかくまずは使ってみたいという方は、Vertex AI Matching Engine を使ってみるまで読み飛ばすか、次のチュートリアルを実施してください。 ベクトル検索で何ができるの？ 昨今ではテキスト、画像、ユーザー行動など様々なものを機械学習モデ
Google Cloud の検索サービス「Retail Search」をサンプルデータでクイックに試す
前置き 前に初投稿したときからなんと約2年以上も経過してしまっていました。Publication への投稿という形で Google Cloud に関する記事を書いていこうと思います！ Retail Search とは Retail Search は Google Cloud が提供する、EC サイトやモバイルアプリなどから利用できるフルマネージドの検索サービスです。商品カタログとユーザーイベントを取り込むことで、ユーザーにあわせた検索体験を提供できます。 Retail Search は今年 (2022年) の4月に一般提供 (GA) を開始しました。日本語ももちろんサポートしています！ Retail Search の良いところ Google 品質の検索機能 検索サービスにおいて、検索キーワード (クエリ) からユーザーが本当に検索したい内容を理解することは重要です。Retail Searc
ツールを使った Cloud Spanner のウォームアップ
tl;dr Cloud Spanner で gcsb という負荷試験ツールを使ってウォームアップを行う方法と、それに関連するいくつかの Tips を紹介します。 はじめに この記事は「Cloud Spanner のウォームアップ ツールとベンチマーク ツールでアプリケーションのリリースを簡単に」の内容を踏襲しています。こちらの記事の内容に対して、いくつか補足説明を行ったものとなります。 Cloud Spanner におけるウォームアップとは何か Cloud Spanner は自動シャーディングにより、テーブルを内部で分割することでノード数に応じてスケールアウトする仕組みがあります。分割されたデータはスプリットと呼ばれる単位で管理されます。スプリットの分割は「負荷」と「サイズ」のいずれかの条件で行われます。テーブルを複数のスプリットの分割する処理は自動的に実行されるため、スプリットの分割がい
わかる！Firestore
tl;dr Firestore は NoSQL のサーバーレスデータベース。 新規開発ならネイティブモードを選択する。 ドキュメント指向のデータモデルを採用していて、コレクション、ドキュメントの階層構造で構成される。 サブコレクションを使うと効率よくクエリができる。 直近のアップデートで、より使いやすくなった。 はじめに みなさん、こんにちは。Google Cloud パートナーエンジニアの Sho です。 この記事は Google Cloud Japan Advent Calendar 2022（今から始める Google Cloud ） の 12/11 の記事です。本記事では、Firestore を取り上げてご紹介させていただきます。 Cloud Spanner や AlloyDB など特徴的なデータベースラインナップを持つ Google Cloud ですが、その中でも NoSQL デ
はじめての Cloud Workflows
本記事は Google Cloud Japan Advent Calendar 2022 の 「今から始める Google Cloud 編」 の23日目の記事です（だいぶ遅くなってしまいましたが…）。 本記事は、サーバーレスのワークフローサービスである「Cloud Workflows」についての入門記事です。Cloud Workflows を触ったことがない方、またはサービス名自体を初めて聞いた方などを対象に Cloud Workflows の概要と使い方をご紹介します。 Cloud Workflows とは Google Cloud の各サービス (Cloud Storage、BigQuery、Cloud Functions など) や API を組み合わせて、一連のワークフローやパイプラインを構築することができるサービスです。 一連のワークフローとは「複数のサービスをつなぎ合わせて、一
Dataplexで始めるデータメッシュ運用
Google Cloud Japan Advent Calender 2022 (今から始める Google Cloud) の 13 日目です！ こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataplexの紹介をしたいと思います！ Dataplexとは データを活用する上でデータガバナンスをどう担保するかは非常に難しい問題です。 そこでGoogle CloudではデータのQuality,Security,Complianceなどを担保するためにDataplexを提供しています。 具体的に何が出来るのかが分かりづらい部分があるので、この記事ではDataplexの具体的な機能や使い方を説明したいと思います。 また、メタデータ管理サービスであるのData Catalogですが、今年 Dataplex に統合され、Dataplex のメニューから
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
