BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
LLMに面倒なことをやらせるソフト「Code Cooker」の紹介
LLMに面倒なことをやらせたい 面倒なことはChatGPTにやらせようという本の著者のからあげです。 書籍では、様々な面倒なことをChatGPTにやらせています。ChatGPT単体（コアの部分）は、基本的にテキスト（言葉）を生成することしかできないので、どうやって面倒なことをやらせているかというと、ChatGPTの生成したテキストで、拡張機能を操作することで、実現しています。イメージ的には以下のように、ChatGPTの手足のように拡張機能を使う感じです。拡張機能としては、色々ありますがChatGPTが生成したコードを実行できるAdvanced Data Analysis（Code Interpreter）が重要かつ代表的な機能となります。 面倒なことはChatGPTにやらせよう（講談社）より引用 この機能はChatGPT独自のものだったのですが、最近はGeminiのGoogle AI St
Google、Google Sheetsの計算エンジンをWebAssemblyに最適化し、2倍の性能を実現したと発表
Google、Google Sheetsの計算エンジンをWebAssemblyに最適化し、2倍の性能を実現したと発表 GoogleはWebブラウザ上でスプレッドシート機能を提供する「Google Sheets」の計算エンジンの性能をWebAssembyで実装し、従来のJavaScriptによる実装と比較して性能を2倍に向上させたことを明らかにしました。 これにより単純なSUM計算から複雑なクエリまで、シート上でのあらゆる計算を始め、ピボットテーブルの作成、条件付きフォーマットなどさまざまな処理が高速になるとのことです。 この性能向上は、JavaScriptで構築されていた計算エンジンをWebAssemblyに最適化したことで実現していると説明されており、そのためにWebAssemby GC（ガベージコレクション）機能を用いたとのことです。 そのため現時点ではChromeとMicrosoft
Google AI Studioを使ってみる
こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle Workspaceを使っている場合は、「早期アクセスアプリ」を有効にする必要がありました。システム管理者に相談してみましょう。 Google AI Studioの起動 Google AI Studioの公式ページから「Google AI Studioにログイン」ボタンを押せば、画面が開きます。 ログインするとGoogle AI Studioが開きます。 クイックスタート クイックスタートのドキュ
GPTを活用して簡単にテキスト解析をする方法 -感情分析、カテゴリー分類-｜PROMPT FOR PLANNER
GoogleSpreadSheetとOpenAI社のAPIを活用してテキスト解析をするやり方に関してまとめた記事です。 プログラミングに関してそこまで詳しくいない企画職の方でもできます。 時折やってくるテキスト解析の相談本業で企画職側データ分析を生業にしていると時折こんな相談をうけることがあります。 ”1年間くらいアンケートを取っているのだけれど、大量にあるフリーテキストの分析を依頼できないか” ”フリーテキストの内容を元に内容をカテゴリーに分類できないか” どちらも定性的なテキストデータの分析相談でその時ごとに分析を引き受けることがあったのですが、分析コードが書けない方でも手軽にできると嬉しいのだろうなとふと思い今回の記事を書いてみます。 感情分析、カテゴリー分類、ワードクラウドこれまで何個かのテキスト解析の依頼を引き受けてきましたが、意外と示唆や気づきを与えられる分析アウトプットを作る
GPT-4のAPIが7月6日より誰でも利用可能と一般公開！ウェイトリスト不要に | AutoWorker〜Google Apps Script(GAS)とSikuliで始める業務改善入門
ChatGPTはGPT3.5系でしたが、GPT-4はメジャーバージョンアップで大きく性能が向上しています。 ChatGPTでのGPT-4のモデル利用と合わせて、GPT-4をAPIで使うためのウェイトリストが公開されました。 GPT-4をAPI経由で使いたい場合はウェイトリストに登録する必要がありました。 登録後にOpenAIから招待メールが届けば、ChatGPTのAPIと同じようにGPT-4が利用できるようになります。 ウェイトリスト登録も招待メールが来ないSNSではGPT-4のウェイトリストに登録したあと、GPT-4の招待メールが届いたというユーザーからの報告がありました。 OpenAIからこのようなGPT-4の招待メールが届きます。 一方でGPT-4の招待メールがいつまで経っても来ないユーザーもいます。 周りのOpenAIのAPIアカウントでGPT-4の招待メールが届いたか調べましたが
Googleアナリティクスの過去データをMatomoにインポートして移行し解析結果を保存する手順まとめ
Googleが提供するアクセス解析サービスのGoogleアナリティクスでは、2023年7月1日に「Google アナリティクス 4(GA4)」への完全移行が実施され、前世代のGoogleアナリティクスである「ユニバーサル アナリティクス(UA)」でのデータ処理が終了しました。完全に更新が止まったUAのデータをそのうちGoogleが消したりアクセス不能にしたりする前に、別のアクセス解析ツールであるMatomoへとインポートしてみました。 Import Google Analytics User Guide - Analytics Platform - Matomo https://matomo.org/guide/installation-maintenance/import-google-analytics/ Matomoはクラウドサービスが提供されているほか、セルフホストも可能で一切外部
UE5やChatGPTなどを用いて「現実世界を再現したオープンワールド」を飛び回れる作品が制作される。3Dマップタイルを活用しわずか1週間で完成 - AUTOMATON
広告制作会社に勤め、フリーランスとしても活動する3D・テクニカルアーティストのNils Bakker氏は5月19日、Unreal Engine 5（以下、UE5）やChatGPTなどを用い、現実世界が精巧に再現されたオープンワールドを旅することができる作品を制作したとし、その映像を公開した。海外メディア80 levelが報じている。 公開された映像では、プレイヤーは紙飛行機となって空を飛びながら、世界中のさまざまな土地を訪れている。ニューヨークのような大都市から、グランドキャニオンなど大自然が広がる地域まで、さまざまな土地が登場。そして、ひとつひとつの建物や木々、地形などはすべて3Dにて表現されている。一部テクスチャが粗かったり、読み込みが追いついていないシーンもあるが、現実世界をそのまま再現しているであろうことがうかがえ、延々と広がる世界を自由に飛びまわれるようだ。 また、画面上に表示さ
AipoのスケジュールをGoogleカレンダーに同期表示する - Qiita
これ単体で動きます。 PHP5.4から対応です。（Guzzle3使ってるので） Google Developer Consoleでの設定 新規プロジェクトの作成 https://cloud.google.com/console へアクセスして、Google Calendar 連携用のプロジェクトを作成します Google Calendar APIの有効化 APIタブでプロジェクトでGoogle Calendar APIを有効化します 認証情報の生成と取得 プロジェクトで利用するクライアントIDを作成します クライアントIDのタイプは「サービス アカウント」になります。 鍵ファイル（~.p12）がダウンロードされるので保存しておくこと。 Google Calendarでの設定 Aipo用カレンダーを追加 カレンダー名を使うので覚えておくこと。 特定のユーザと共有に先ほど作ったクライアントID
Googleが新しい追跡技術「トピック」をChromeに導入
Googleが、多くの批判を受けて頓挫した広告用のトラッキング技術であるFederated Learning of Cohorts(FLoC)に代わるものとして、「トピック」のテストを開始したと報じられています。 Chromium Blog: What to Expect from Privacy Sandbox Testing https://blog.chromium.org/2022/03/what-to-expect-from-ps-testing.html Chrome’s “Topics” advertising system is here, whether you want it or not | Ars Technica https://arstechnica.com/gadgets/2022/03/googles-topics-advertising-system-st
Google Forms APIが正式リリース Googleフォームの作成や編集、集計をプログラミングで制御可能に
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google Forms APIが正式リリース。Googleフォームの作成や編集、集計などをプログラミングで制御可能に」（2022年3月22日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Googleフォームは、質問項目や選択肢が並んだフォーム画面を作り、公開すると、自動的に結果がGoogle Spreadsheetに集計され、容易にグラフ化などができるというサービスです。 Webブラウザから参照でき、デスクトップにもモバイルにも対応します。Google Forms APIによって、プログラムから自動的にフォーム画面を作成、編集し、公開することが可能になります。 これにより、迅速なフォーム作成機能を用いた大規模なアンケート調査だけでなく、受信した回答にもプログラムで対応できるようになるため、リアルタ
データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システムの開発をやったり、カジュアルゲーム作ったり。新規事業のスマホアプリを作りつつサーバーサイドの API を作って立ち上げたり、海外向けのサービスを作ったり。いつのまにかメディア運営に関わったりしてきましたが、最近はデータ基盤の開発もやってます。そんなキャリアを歩んできましたが、いつか森の中の開けた草原にあるネット環境の整ったポツンと一軒家で、庭にチャボを放飼にしつつ養蜂をやってみたいと思っています。 話は戻りますが、今回はこの稼働したてホカホカ状態のデータ基盤について概要を紹介したいと思います。よろ
「AI文字起こし妖精さん」について - Leverages データ戦略ブログ
レバレジーズのデータ戦略室で室長をしている阪上です。今回はレバレジーズの運営するメディアの取材における課題について紹介したいと思います。 課題 レバレジーズが運営しているメディアで取材が数多く行われているのですが、取材音声の文字起こしをこれまで人手のみで行なっていました。1時間の取材の場合、1時間以上に文字起こしに時間がかかったりするため、記事を書く上での重要な情報資源ながら、人に対する負担が大きい状態でした。そこで、現場の悩みを解決したいと思いました。 仕組みの説明 まず、求められる要件を以下の通りです。 求められる要件 文字起こしをして欲しい。 Googleドライブにアップロードしたら自動で文字起こしされ、結果もGoogleドライブに返して欲しい。 文字起こし結果を一定の文字数で改行して欲しい 朝の8時から夜の21時までは処理を受け付けて欲しい、1~2時間以内に処理結果が欲しい 様々な
【30分でやる】Google Spread Sheetで管理するLINE BOTの作り方 - Qiita
はじめに LINEのFAQボットつくりたいなー、と思い立ち、その時ついでに思い付いたいくつかの自分のニーズにこたえられる要件を追加して実装してみました。思ったのはこんなの。 LINEのBOT FAQのメンテナンスが簡単 サーバー環境の構築とかがめんどくさいのでそれも簡単にやりたい ⇒ Google Spread Sheet × Google Apps Script × LINE の組み合わせが最強だった。 やったこと LINE上で質問をすると、それに対してテキストの部分一致で対象の「質問」を抽出して、それに対する「回答」を出してくれるFAQBOTを作りました。 質問・回答の追加・更新などのメンテナンスはGoogle Spread Sheet上で管理。 あと「誰が」「どんな質問したか」もわかるようにしてあります。 準備するもの ホントのホントに1からやってみようと思ってやったので、準備したの
[備忘録] Twilio の音声データを GAE 経由で Google Speech API に投げてテキストにする - Qiita
まとめ タイトル通りのシステムを組み実際に動かしてみました。 (最終的にはルンバを動かしました) 音声データが短すぎて(5 秒以下)あまりよい認識精度(~50%)は得られませんでしたが、手元で長い音声データを取って直接 Google Speech API に投げた場合は結構な精度で認識してくれていたので、ちゃんとやればいいところまでいくかもしれません(twilio の無料枠を使い切るのが怖かったため時間を短めに設定していたのが敗因)。 ローカルで音声認識させればもっと簡単に色々できると思いますが、こんなやり方もあるよということで。 システム構成 電話 -> twilio -> GAE -> Google Speech API -> ローカル PC -> roomba ※実際は twilio から GAE には 2 回 POST が飛びます(後述) 電話: 普通の電話です twilio: 電
![[備忘録] Twilio の音声データを GAE 経由で Google Speech API に投げてテキストにする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5ca55dee1c16b36b316186ff43280a8d032b68dd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JTgyJTk5JUU1JUJGJTk4JUU5JThDJUIyJTVEJTIwVHdpbGlvJTIwJUUzJTgxJUFFJUU5JTlGJUIzJUU1JUEzJUIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJTkyJTIwR0FFJTIwJUU3JUI1JThDJUU3JTk0JUIxJUUzJTgxJUE3JTIwR29vZ2xlJTIwU3BlZWNoJTIwQVBJJTIwJUUzJTgxJUFCJUU2JThBJTk1JUUzJTgxJTkyJUUzJTgxJUE2JUUzJTgzJTg2JUUzJTgyJUFEJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgxJUFCJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz00YWE4ZjdhYTkzOGM3YjA5MjkzM2Q3YTkzNjkwN2RjMQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBoYWdpZm9vJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mNzJlNDI1NzYxOWRmOTEzMDVjYjBmNTUxZWUwZDM0ZA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Db282ffd754e4a4b2f63e8e0c242185f8)
GoogleのAIとNTTのAIを融合したら最強の業務カイゼンツールが爆誕した - Qiita
作ったもの 紙の書類などスキャンして管理してると ↓こんな感じでファイル名がカオスになりがち… そこで、今回のツールを一発たたくとこうなります。 何となく中身が推測できるようになりました。 このツールは何？ 請求書・名刺・Webページなどのpdf・画像ファイルの中身を読み取り、重要(っぽい)ワードで自動リネームするツールです。 内部では以下を行ってます。 ファイルをGoogle Driveにアップロード (G Suiteが理想) OCRされたテキストを抽出 重要部分をNTTコミュニケーションズの固有表現抽出APIで抽出 (企業名とかの専門用語辞書使うと精度上がるっぽいけど無料版だと使えない…) 日付、会社名、人名を結合したファイル名を作りリネーム 動作確認環境 Mac 10.14.3 Python 3.7.2 動かし方手順 1.ファイルをGoogle Drive APIでアップロードできる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ExcelAPI」と新関数「IMAGE」を組み合わせたデモが早速お披露目／法人名を入れると、その法人番号・所在地とともに、所在地を「Google マップ」で表示【やじうまの杜】
「Google マップ」に没入感のある3D表示が可能な新機能「Immersive View」／「ライブビュー」を活用できる「ARCore Geospatial API」が開発者向けに無料公開
(新)マーカーイメージ(ピン・アイコン・画像URL)｜Google マイマップ
Google Cloud 公式ブログ
