RAGを社内用語に強くするチャンク分割の手法「MoGG」
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「MoGG」という手法について、ざっくり理解します。 この記事は何 この記事は、社内用語が多く含まれるドキュメントでもRAGの性能を高くするための手法「MoGG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー MoGG（Mix-of-Granularity-Graph）は、RAGの精度を上げるための、新しいチャンク分割の手法です。MoGGでは、チャンクとグラフ構造を上手く組み合わせることで、専門用語・社内用語が多いドキュメントでも回答精度を向上させることができます。上海人工知能研究所と北京航空
話題のGraphRAGとは - 内部構造の解析と実用性の考察
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
nlplotが凄い！自然言語を可視化・分析できるPythonライブラリ | Box Code
共起ネットワークをnetworkxで。。。と調べている最中に非常に素晴らしく便利なライブラリを発見しましたので、早速使ってみました。 nlplotというPythonのライブラリです。 このライブラリを使うと以下のグラフを簡単にプロットできてしまいます。凄いです。 N-gram bar chartN-gram tree MapHistogram of the word countwordcloudco-occurrence networkssunburst chartpyLDAvis Twitterで「コロナ」を使用したTweetsをnlplotでグラフ化 今回nlplotを使うにあたって、Twitterにて「コロナ」の文字が含まれるTweetsを取得しました。 TweetsデータはMongoDBに格納し、呼び出し、データフレーム化したのち、nlplotの一連のグラフ処理をいたしました。 M
Claude 3.5 Sonnet ＋ 新機能「Artifacts」でCSVから簡単データ分析 - Taste of Tech Topics
はじめに こんにちは。7月に入り、蓮の花が咲く季節が近づいてきましたね。 ４年目エンジニアの小林です。 最近、2024年6月21日にAnthoropic社からリリースされた、「Claude 3.5 Sonnet」で利用できるArtifactsという機能が注目されています。 この記事では、Artifactsを使ってCSVからグラフを生成してみます。 はじめに Claude 3.5 SonnetおよびArtifacts機能の概要 グラフ作成を試してみた Artifacts機能の利用手順 CSVデータからグラフを作成する グラフをカスタマイズする まとめ Claude 3.5 SonnetおよびArtifacts機能の概要 Claude 3.5 Sonnetは、Anthropic社が開発した最新の生成AIモデルで、低コストながら高い性能を持つモデルとして話題になっています。 そして、中でも注目さ
Gemini API を使いスマホでスキャンした表やグラフから自動的にスプレッドシートを作ってみる
Gemini API を少し触ってみて、画像関連でいくつか応用できそうに思えました。 そこで、Google Drive でスキャンした画像(PDF)から自動的にスプレッドシートを作成するような GAS 用スクリプトを試作してみました。 どのようなスクリプト？ Google Drive で以下のような画像をアップロード(スキャン)しておくと Gemini API を利用してスプレッドシートを作成します。 図 1-1 紙の表をスキャンしたファイル 図 1-2 紙の表から作成したスプレッドシート また、スキャン元の画像にはグラフも利用できます。ただし、グラフ内に値が表示されていないと多くの場合で正確な値にはなりません。 図 1-3 画面に表示されているグラフをスキャンしたファイル 図 1-4 グラフから作成したスプレッドシート 表として取り込む仕組み(プロンプト) 基本的にはドキュメントに従って
モダンなタスク管理を可能にするSnowflake Python API
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
ChatGPTで業務フローが自動的に書けた｜Yuji Inagaki
こんにちは。ユアマイスターでプロダクトマネージャーをしています、稲垣といいます。 最近、業務でChatGPTを使いまくっているのですが、ちょっと個人的に感動する使い方を見つけたので紹介します（既に知ってるぞ！という方、すいません）。 プロダクト開発において、業務フローって必要になること多いですよね。でも書くの大変。Draw.ioとかFigmaとか便利なツールも出てるけど、それでも大変。 さあ、下記のようにプロンプトを書いてみましょう。 一般的な受注業務の業務フロー図を作りたいです。Mermaid Markdown形式で出力してください。 # 制約条件 - 「・」「?」は使用しないでください ChatGPTの出力結果のこれをコピーして、 Notionに貼りましょう（「コードブロック」を選択してください）。 「コード」を選ぶこの領域にペーストするすると・・・。 うおおおおお。 業務フローが自動
ChatGPTでプログラミングは一切なしでExcelの集計・編集作業をする - Taste of Tech Topics
今朝は雨が降ったようで、久しぶりに涼しい朝を迎えられた菅野です。 前回の記事「日々のExcel管理を効率化するPythonスクリプトをChatGPTに作ってもらう」には多くの反響をいただきありがとうございます。 acro-engineer.hatenablog.com 前回は、Pythonスクリプトを生成することで、Excel管理の作業を自動化することを目的としていました。 ただ、エンジニアでない社員からは、以下のようなコメントをもらいました。 エンジニアではない人はPython実行もハードルが高い ChatGPTとExcelファイルだけで完結させてほしい ということで、今回はPythonスクリプトを意識することなく、ChatGPTのCode Interpreterのみを用いてExcelの集計・編集作業を行ってみます。 今回のテーマではGPT-4モデル、Code Interpreterを使
BI/ダッシュボード導入を成功に導くための5つのポイント - Qiita
ビジネスの現状を把握し、さらにモニターし続けるためにダッシュボードなどを使ったBI（ビジネス・インテリジェンス）の仕組みを社内に導入したものの、社内ではあまり活用されていない、またはプロジェクトが途中で終わってしまったといった話をよく聞きます。 そこで、こちらの記事ではBI導入やダッシュボード作成プロジェクトを進めるときにぶつかることの多い問題、さらには、そうした問題を乗り越えてプロジェクトを成功に導くための5つのポイントを紹介します。 1. データの加工 ダッシュボードの作成プロジェクトに関わるタスクを考えると、真っ先に思い浮かぶのは、ダッシュボードに、どのようなチャートを入れるのかや、そのレイアウトをどうするかといったことです。 しかし、ダッシュボードの作成に関わるタスクを紐解くと、ほとんどの業務はダッシュボードに入れるチャートの作成にかかる時間ということになります。また、チャートの作
アンケートの相関係数と満足度の散布図により最重要改善項目を洗い出す | 隣IT
みなさん、こんにちは！ この一連の記事を見ているラーメン屋さんがどれだけいるのか気になっているタカハシ(@ntakahashi0505)です。 とあるラーメン屋さんがリピーターを増やしたいと考えています。そこでアンケートを実施して、相関係数というちょっとした統計的なテクニックを使って、「接客」と「味」が「来店意向」との関係性が強いことを発見しました。 というのが、前回までのお話です。詳しくはこちらの記事をどうぞ。 さて、この「接客」と「味」なのですが、どちらか一方しか改善できないとしたら、どちらを選びますか？ 看板娘にもっと接客を頑張ってもらうか、また別の良いスタッフを募集するか、はたまたこれまで大事に守ってきたスープのレシピを変えるのか…いずれにしてもお金も時間も限られていますから、全部が全部の対策をとることはできません。 そんな時に使えるテクニックとして、相関係数と満足度から作る散布図
まもなく2歳になる娘の『話せる言葉の数』の習得状況をグラフにしたら綺麗な右肩上がりになった「子供すごい」「記録するママもすごい」
高橋祥子 @Shokotan_takaha 娘の2才までの産出語彙数(話せる言葉の数)の習得状況を記録してきたのでグラフにしてみたけど綺麗な右肩上がり。子どもすごい。 pic.twitter.com/EWA5uuptS0
グラフを生成可能なマークダウン構文「Mermaid」がNotionで利用出来るようになりました #notion | DevelopersIO
データアナリティクス事業本部 サービスソリューション部 サービス開発チームのしんやです。 Notionの直近リリースノートに「Mermaidっていうマークダウン構文がNotionで使えるようになったよ！」という情報が載っていたので、試してみた内容を軽くではありますが紹介したいと思います。 目次 Mermaidとは 実践 #1. フローチャート #2. シーケンス図 #3. クラス図 #4. 状態遷移図 #5. ER図 #6. ジャーニーマップ #7. ガントチャート #8. パイチャート #9. 要件図 まとめ Mermaidとは Mermaidとは、フローチャート、シーケンス図、クラス図、ガントチャート、およびgitグラフを生成するためのマークダウン構文です。 コードから良い感じのグラフを生成できるイメージについては下記動画を参照頂くと良さそうです。 実践 では早速実践してみたいと思いま
無料集計ツール「Cross Finder2」 | リサーチ・市場調査ならクロス・マーケティング
「市場」の動向だけでなく、市場の中身、顧客や満足度に至るまでを調査。データや数値のみでは計れない潜在的なニーズも察知・予測し、明確な目的と正しい手法で調査することで、正確なデータをビジネスに有効活用できます。
Airtableの基本
kintoneに無い、無料プランがAirtableにはある 有料プランのグラフや地図等の様々な機能がkintoneに比べて導入しやすい（画面上で[＋]ボタン押すだけ kintoneは1テーブルごとに分かれるが、Airtableは複数のテーブルを1アプリとして管理出来る Airtableは英語のみ（日本語は扱える） APIのドキュメントはAirtableの方が解りやすい（自分のアプリのサンプルコードが生成される） kintoneみたいな１レコード毎の編集履歴、コメント機能があります iOSのアプリはkintoneよりAirtableの方が出来が良い AirtableのiOSのアプリにはkintoneには無いバーコードリーダーがある Airtableには帳票を作る機能がある（有料プラン）
Flourish | Data Visualization & Storytelling
Easily turn your data into stunning charts, maps and interactive stories. View examples. Engage your audience Create agency-quality data graphics and animated stories that bring your data to life. Empower the whole team Flourish is easy enough for anyone to use. Start with a template and drop in data. Embed, share, present Create seamless embeds, magical presentations, or engaging content for soci
5分で行ける！Youtubeで人気の動的グラフの作り方 | FineReport
（画像出典：FineReport) この動画は複雑なコードを必要とせず、簡単なBGMをつけるだけで、たったの十分間で仕上げました。 では、具体的な方法を２つ紹介します。以下の詳細な手順を見たら、誰でも作れますよ。一緒にやってみましょう！ 方法一：Flourish Florishは多種多様なデータ可視化テンプレートを備えており、最も使いやすい可視化Webサイトと言われています。探したデータをテンプレートに書き込んで、スピード、色、アイコンなどを設定するだけで完成します。 手順が簡単です。まず、画面の右上にあるダイナミック棒グラフのテンプレートをクリックし、「Data」を選択してくだざい。そして、「uplode data file」をクリックし、これから使うデータをアップロードします。 テンプレートはもともとフォーマットが決まっています。上図のように、A列は指標名、B列は属性、C列は凡例のUR
ゼロから始める、データ分析と可視化 - Kyash Product Blog
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
注目の生成AI関連技術「Knowledge Graph」で、桃太郎の物語を視覚化してみよう【イニシャルB】
「ChatGPT」、専門家並みのデータ分析に対応、Pythonのコードを書き、グラフを作成、内容を把握して回答も／OpenAIが近日リリース、「GPT-4o」を活用、OneDrive/Google ドライブのファイルも直接扱える
小説の推敲補助ソフト「Novel Supporter」に隠れた文章癖をあぶり出す分析機能／文字種・文章長・段落長などの推移をグラフ化
