話題のGraphRAGとは - 内部構造の解析と実用性の考察
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
進化計算時代への序曲｜shi3z
統合科学者ネクシャリストという考え方がある。平たく言えば、理系・文系の分け隔てなくさまざまな専門分野を統合的に扱う学者である。ちなみにこの言葉自体は「宇宙船ビーグル号」に登場する架空の概念であり、現実には存在しない。 ただ、人類が生み出した偉人、天才と呼ばれる科学者の中で、特に傑出した人々は、その発言の真意が理解されるまでに途方もなく長い時間がかかることがある。 そうした発言はしばしば「予言」または「予想」と呼ばれ、場合によっては何世代にもわたってその真意を確かめようと後の人類が挑戦する。それが実際にはたわごとなのか、それとも真理なのか、それは誰にもわからない。 20年以上前にミンスキーが「心の社会」を書き、ペンローズが「皇帝の新しい心」を書いた。 どちらも登場した当時は「すごい本が出た」と言われたが、この「すごい」は「凄そうなことが書いてあるが、何が書いてあるかわからない」という「すごい
RAG入門: 精度改善のための手法28選 - Qiita
RAGの精度改善するために何があるかを学びました。基本系のNaive RAGを知っている人向けの記事です。 方法が多すぎるので、Youtubeの「RAG From Scratch」を中心に少し整理してみました。LangChainをよく使っているので、LangChain出典が多いです。 全体像 まずは、RAGの全体像。Indexingが同じ流れにあるのが少しわかりにくいのですが、実行タイミングとしてはRAGの前準備としてやっておきます。 画像出典: RAG from scratch: Overview もう少し粒度を細かくした図です。 画像出典: RAG from scratch: Overview 表形式で分類します。Generationだけ少し特殊です。 大分類 中分類 内容
Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – | Amazon Web Services
Amazon Web Services ブログ Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – システムやサービスを提供する上で、障害はつきものです。障害を迅速に分析し対処することがユーザビリティやサービス信頼性を向上し、結果顧客満足度につながります。一方で近年システムは複雑さを増しており、障害特定が従来に比べて難しくなっています。したがって障害分析の効率化や高度化が重要になっています。 従来の手動による障害分析では、膨大なログデータの中から問題の根本原因を特定するのに多大な時間と労力を要し、ダウンタイムの長期化やサービス品質の低下につながる可能性がありました。そこで注目されているのが、人工知能 (AI) や機械学習 (ML) を活用した障害分析です。 AI/ML による高度な分析技術を用いることで、障害の早期発見、迅速な原因特定、さ
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
Meta、無料で商用可の「Llama 3.1」リリース 「世界最大かつ最も高性能なオープンモデル」
米Metaは7月24日（現地時間）、“オープンソースの”LLMの最新版「Llama 3.1」を発表した。最大モデルは4050億（405B）のパラメータを持ち、米NVIDIAの1万6000個以上の「H100」でトレーニングした。Llama 3の70Bモデルと8Bモデルもアップグレードされる。 4月にリリースした「Llama 3」同様に、ほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で利用可能になる。 15兆トークンを超えるトレーニングデータでトレーニングしたとしているが、データの出所は明示していない。 405Bモデルは、長文テキストの要約、多言語会話エージェント、コーディングアシスタント、将来のAI言語モデルのト
Google、アプリ実行時に生成AIが適切なUIを構成し動的生成する「AI Generated UI」発表
Google、アプリ実行時に生成AIが適切なUIを構成し動的生成する「AI Generated UI」発表 基本的に、アプリケーションのユーザーインターエイス（UI）は開発時に設計され実装されて、その実装通りに実行時に表示されるものです。 しかしこのUIを開発時ではなく、アプリケーションの実行時に生成AIが適切に構成して動的に生成し表示する「AI Generated UI」という仕組みを、Googleがインドのバンガロールで行われたイベント「Google I/O Connect Bengaluru 2024」で発表しました。 現時点でAI Generated UIはFlutterフレームワークの上にアーリープレビューとして実装されており、ユーザーの意図に基づいてFlutterが動的にUIコンポーネントとレイアウトを構成し、ユーザーにパーソナライズされた最適なUIを表示すると説明されています
実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル
RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・
JR東が「社内のアレ教えてAI」ツール内製 RAG活用、全社導入へ
JR東日本は7月11日、RAG（検索拡張生成）を活用した生成AIシステムを全社的に導入すると発表した。10月から全社で試用を開始する予定。社内規定・文書を検索する作業の効率化を目指す。 RAGは、大規模言語モデルに社内データベースの情報を参照させることで、機密情報や専門知を基にした回答を可能にする仕組み。社内で分からないことがあったときに質問できるAIチャットbotの開発などに用いられ、LINEヤフーや日清食品なども導入やその検討を進めている。 JR東は23年10月、RAGを用いない生成AIチャットサービスを内製し、導入。24年6月には全社に展開した。RAGを使った内製ツールも23年11月から導入しており、得られた意見を取り入れた上で全社展開するという。
Google検索も不要に？ 検索AI「Perplexity」がスゴすぎてちょっと怖い
“AI検索”サービス「Perplexity」（パープレキシティ）がスゴい。 Perplexityは、質問に対してテキストで答えてくれる、チャットbot型生成AIだ。ChatGPTと似ているが、検索に特化しており、「Webの最新情報をベースに検索できる」点が異なる。 例えば、7月4日時点で東京都知事選（7月7日投開票）の最新状況を聞くと、こんなふうに答えてくれる。
Databricks AI/BIのウォークスルー - Qiita
Data + AI Summit 2024のキーノートが日本時間での昨夜0時頃からスタートしました。なんとなく目が覚めたのでリアルタイム視聴していました。 Databricks + Tabular Unity CatalogのOSS化 Mosaic AI Model Training Fine-tuning / Mosaic AI Tool Catalog / Mosaic AI Agent Framework / Mosaic AI Agent Evaluation / MLflow 2.14 / Mosaic AI Gateway NVIDIAとのパートナーシップ強化 Liquid Clusteringのクラスタリングキーの自動選択 Databricks AI/BI などなど盛りだくさんであっという間に3時になっていました。Mosaic周りは別記事でカバーするつもりですが、まずは最後に
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
Googleがオープンかつ商用利用可能な大規模言語モデル「Gemma」ファミリーにコード補完・生成・命令フォローを強化した「CodeGemma」と効率を最適化した「RecurrentGemma」を追加すると発表
Googleが2月に公開したオープンかつ商用利用可能な大規模言語モデル「Gemma」ファミリーに、新たなモデルとして「CodeGemma」と「RecurrentGemma」の2つを追加すると発表しました。 Gemma Family Expands with Models Tailored for Developers and Researchers - Google for Developers https://developers.googleblog.com/2024/04/gemma-family-expands.html Gemmaは同じくGoogleが作成しているAIモデル「Gemini」と同じ技術を使用して作成された軽量かつオープンなAIモデルです。2月にベースとなる「事前学習済みモデル」および対話性能を高めた「インストラクションチューニング済みモデル」がリリースされていました
CodiumAI、作りたい機能を入力するとコードの実装計画案生成、コードの自動生成を支援する「Codiumate Coding-Agent」α版リリース
CodiumAI、作りたい機能を入力するとコードの実装計画案生成、コードの自動生成を支援する「Codiumate Coding-Agent」α版リリース AIによるプログラミング支援ツールを開発しているCodiumAIは、作りたい機能をAIに対してプロンプトで入力すると、コードの実装計画案をAIが示し、それを元にほとんどのコードを生成や補完してくれる「Codiumate Coding-Agent」（以下、Coding-Agent）α版のリリースを発表しました。 The Codiumate-Agent is the first step towards tandem development with your coding agent. It effortlessly slots into your development workflow, helps you be smart about
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「RAG」と「ロングコンテキストLLM」の徹底比較：LLMの長文理解における新たなハイブリッドアプローチ Google DeepMindとミシガン大学の研究 | Ledge.ai
OpenAI Platform
https://platform.openai.com/docs/guides/latency-optimization
富士通、特化型生成AIモデルを自動生成可能な「エンタープライズ生成AIフレームワーク」を開発
「Google Maps」を名乗る方から電話がかかってきて「営業時間を教えて欲しい」と聞かれ…会話の仕方が完全に人間だった「不気味の谷現象を体感する時代」
