BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」
データ利活用の推進が行われている昨今、多種多様な企業が散見されているデータの統合を目的としたデータ基盤を構築し、データ利活用できる環境を整備しています。 一方、データ基盤を統合したのは良いけれど、どのようなデータが入っているのか探せず、データ利活用につながらないといった課題が生まれています。 そのような状況の中、データの意味の管理をする「メタデータ管理」が注目を集めています。メタデータの管理・整備の継続をすることでデータ利活用を促すことができます。 本記事では、このメタデータについて、大きく分けて3つのことを説明します。 1つ目は、そもそもメタデータとは何か、2つ目は、メタデータ管理をどのように進めたらよいか、3つ目は、継続してメタデータ管理を続けるための方法です。 日頃データ利活用に携わっており、メタデータ管理に取り組みたいと思っている方々に、本記事を参考にしていただけると幸いです。 こ
QAエンジニアから見た『データモデリングでドメインを駆動する』書評 - ブロッコリーのブログ
はじめに 本記事は、今年発売された書籍『データモデリングでドメインを駆動する――分散／疎結合な基幹系システムに向けて』を読んだ感想と、QAエンジニアである私*1が日々の業務で役立ちそう（既に役立った）部分を紹介します。今のところ、本書籍は2024年のベストバイな気がします。 gihyo.jp 本記事で一番伝えたいこと データモデリングについての考えが深まるぞ 開発者が読むともっと役立てることができると思うぞ QAエンジニアである私が読んでも役立つぞ 読み始めてすぐに「良い買い物だった」と思って思わずポストしている様子 目次 はじめに 本記事で一番伝えたいこと 目次 本書籍で良かったこと：データモデリングをするにあたっての整理と用語の提案がすごい SoAとSoMという整理 「残」という概念 データベース設計とは違う「データモデリング」という考え方 QAエンジニアとして、業務に役立てそうなこと
BigQuery MLとLooker Studioによるお手軽機械学習 - SO Technologies 開発者ブログ
はじめに こんにちは、データ戦略室の伊藤です。普段の業務では、機械学習モデルの作成やインフラ基盤の構築を担当しています。 今回はBigQuery ML(以降BQML)とLooker Studio(旧称データポータル)を使用した事例について、紹介できればと思います。 BQMLとは BQMLは、BigQuery で標準 SQL クエリを使用して機械学習モデルの作成&予測ができる機能です。BigQuery内で全ての作業が完結するため、他言語の知識や複雑な前処理が不要で、かなりお手軽に機械学習を試すことができます。 現在(2023年2月)サポートされている学習モデルの種類は、以下の通りです。 線形回帰 ロジスティック回帰（分類） K 平均法クラスタリング 行列分解 時系列（時系列予測） ブーストツリー（XGBoost ベースの分類モデルと回帰モデル） ディープ ニューラル ネットワーク（DNN）
統計検定データサイエンスエキスパートの合格体験談（試験内容・勉強法・参考書など）
統計検定データサイエンスエキスパートの合格体験記 このたび、統計検定データサイエンスエキスパートに合格しました。この試験はつい最近開始された試験ということもあり情報が少ないため、振り返りもかねて記事という形で体験談を残しておきます。 本記事では、統計検定データサイエンスエキスパートの試験内容や私の勉強法、役に立った参考書についてまとめました。これから統計検定データサイエンスエキスパートの受験を考えている方々にとって、少しでもお役に立てば幸いです。 なお、2023年に受験した統計検定１級についても以下の記事でまとめておりますので、興味のある方はこちらもぜひご覧ください。 筆者について 受験時に筆者は大学院修士課程に所属しており、経済学（主に金融工学）を専攻しています。基本的な数学の計算に関しては比較的慣れている方だと思いますが、特に統計学やデータサイエンスを重点的に勉強してきたというわけでは
データエンジニアリングの基礎を読みました - 肉球でキーボード
「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリューションの話題は避け、データエンジニアリングの背後にある普遍的な技術概念の説明に徹しています。 SQL実行の内部の処理や、磁気ディスクドライブの物理挙動にまで踏み込んでいて、データエンジニアリングの基礎
How we built Text-to-SQL at Pinterest
Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, Engineering Writing queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant
ZennでのGoogleアナリティクス(GA4)の設定方法
初投稿です。 zennの設定を眺めてた時にGoogleアナリティクスという機能があるのに気づきました。 面白そうなので早速試してみたのですが、 トラッキングIDの登録画面で2種類のID設定か出てきて、躓いたので記事にまとめました。 Googleアナリティクスは初めて触ったので、初心者向けの記事になっています。 GoogleアナリティクスのトラッキングID登録 Zennの「マイページ」→「Edit profile」→「アカウント」からトラッキングIDを設定出来ます。 入力欄には「G-もしくはUA-から始まるID」と書いてあります。 私が参考にさせて頂いた記事ではUA-の取得が前提だったので、G-とは？？となってしまいました。 G-もしくはUA-から始まるIDとは？ UA：ユニバーサルアナリティクスプロパティ G-：Googleアナリティクス4プロパティ(GA4) で取得出来るIDのことらしい
Gemini for Google Cloud is here | Google Cloud Blog
Try Gemini 1.5 ProGoogle's most advanced multimodal model in Vertex AI Try it We are excited to share with you that Gemini for Google Cloud is here. Generative AI’s capabilities have grown tremendously over the last year, and we have infused it throughout our product portfolio. Gemini for Google Cloud is a new generation of AI assistants for developers, Google Cloud services, and applications. The
Google Cloud Next ‘24 における発表 | Google Cloud 公式ブログ
Try Gemini 1.5 ProGoogle's most advanced multimodal model in Vertex AI Try it ※この投稿は、2024 年 4 月 10 日に、Google Cloud blog に投稿されたブログを APAC 地域向けに要約したものの抄訳です。 2023 年、世界は生成 AI テクノロジーがどのようにビジネスを変革できるか想像し始めたばかりでした。その変革は着実に進行しています。Google では、AI がすべての人に役立ち、できるだけ多くの人々の生活を向上させることを目指しています。 クラウドとつながった AI エージェント インフラストラクチャ、Gemini モデル、オープン モデルやパートナー モデルなど様々なモデル、Vertex AI など、Google Cloud の AI ポートフォリオ全体を通して、当社のお客様とパ
Functional Data Engineering — a modern paradigm for batch data processing
Functional Data Engineering — a modern paradigm for batch data processing Batch data processing — historically known as ETL — is extremely challenging. It’s time-consuming, brittle, and often unrewarding. Not only that, it’s hard to operate, evolve, and troubleshoot. In this post, we’ll explore how applying the functional programming paradigm to data engineering can bring a lot of clarity to the p
Googleスプレッドシート SORT関数 超応用例-1（ExcelのSORT関数とは違うのだよ）｜mir
mir の個人的な格付けですが、データテーブルを操作する時に使える 四天王と言える関数があります。 FILTER関数 SORT関数 UNIQUE関数 QUERY関数（最強） 世間的にも便利な関数として評価の高い、この4つ（配列操作関数と言っても良いかも）を四天王に位置付けてるんですが、今回はこの中から並び替え関数と言える SORT関数を取り上げたいと思います。 FILTER関数については、以前3回に分けて たっぷり書きました。 四天王最強は もちろんQUERY関数なんですが、人気が高いんで結構丁寧に解説してるサイトも多いんですよね。 だから、この noteで書いても目新しさが出しにくいってのもあって・・・、なんとなく気分が乗らないので、もう少し先の機会で触れたいと思います。 というわけで、SORT関数の基本～超応用例までを お題形式で理解していくシリーズをいってみましょう！ でも初回の今回
VertexAI AutoML （画像）を使ってみませんか？#2 - Qiita
こんにちは、京セラコミュニケーションシステム櫻木 (@kccs_nobuaki-sakuragi)です。 最近はGenerative AIが流行りですが、以前からあるGoogle Cloudで提供されているAutoML Visionについて紹介します。 AutoML Visionのサイトを見ると次の様なサービス終了の案内がでています。 AutoML Visionは、VertexAI AutoML（画像）へと名前が変わっていますが、同じ機能＋αで機能はVertexAI AutoMLのメニュー内にあります。 2024年1月23日を過ぎるとAutoML Visionは使用できなくなります。以前のAutoML Visionのすべての機能と新機能は、Vertex AIプラットフォームで使用可能です。 名前が新しくなったVertexAI AutoML（旧AutoML Vision）メニューを使いながら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloudではじめるデータ分析基盤スターターパック - 株式会社G-gen（ジージェン）
Dataplexとdbt-osmosisを活用した「がんばらない」データカタログとメタデータ管理の運用(Data Engineering Study #22)
データモデリング合宿2023（浜名湖１泊） (2023/09/17 14:00〜)
AI and Data Scientist Roadmap
データテーブルを作成する
ジーアイクラウド株式会社 GI Cloud, Inc.
GIF/460_実践ガイドブック/md/465-1_guidebook_datamanagement_intro.md at main · JDA-DM/GIF
