Retrieval Augmented Generation (RAG) を支える技術と Amazon Bedrock を使用した構築例 -基礎編- - サーバーワークスエンジニアブログ
はじめに 世の中では MCP に関する話題で盛り上がっています。ここではちょっとだけ過去に戻り、Retrieval Augmented Generation (RAG) の基本と、AWS における実装例についてまとめます。こちらのブログでも言及されていることに関連して、MCP は LLM にとって多様な データソース に対する繋ぎこみの規格を定め、それをツールとして使用することで単なるチャット AI ではなく、AI エージェントとして振舞えるよう（振舞いやすくするよう）にするための仕組みです。 今回まとめる RAG は、エージェントと横並びで比較する技術ではなく、エージェントアプリケーションの中に組み込まれる 1 要素です。個人や組織の情報など、OpenAI や Anthropic といった AI プロバイダが提供する LLM が、学習過程で利用されることのないデータを コンテキスト に含
生成系 AI アプリケーションでベクトルデータストアが果たす役割とは | Amazon Web Services
Amazon Web Services ブログ 生成系 AI アプリケーションでベクトルデータストアが果たす役割とは この記事は、The role of vector datastores in generative AI applications を翻訳したものです。 生成系 AI は今、質問に答えたり、ストーリーを書いたり、アート作品を制作するだけでなく、コードも生成することができるその力で、人々の想像力をかき立て、業界に変革を起こしています。AWS のお客様からも、生成系 AI をビジネスで最も効果的に活用するにはどうすれば良いのかというご質問が多く寄せられるようになっています。ほとんどのお客様は、特定分野のデータ (財務記録、健康記録、ゲノムデータ、サプライチェーン、その他) を豊富に蓄積しており、それらのデータから自社のビジネスや業界全体について、貴重な独自の視点を得ています。こ
Multi-tenant vector search with Amazon Aurora PostgreSQL and Amazon Bedrock Knowledge Bases | Amazon Web Services
AWS Database Blog Multi-tenant vector search with Amazon Aurora PostgreSQL and Amazon Bedrock Knowledge Bases This post is the continuation of the series on building multi-tenant vector stores with Amazon Aurora PostgreSQL-Compatible Edition. In Part 1, we explored a self-managed approach for building a multi-tenant vector search. The self-managed approach uses direct SQL queries and the RDS Data
Self RAGを簡単に作ろう ~ DifyとAWS Bedrock Prompt Flowの比較 ~ - GMOインターネットグループ グループ研究開発本部
おさらい まず本題に入る前に、実装しようとしているSelf RAGとはどのようなものだったかおさらいします。詳しくは前回の記事をご覧ください。Self RAGとは、プロンプトに特定ドメインの知識や最新の知識を検索・取得してきたものを混ぜてLLMに送信することで、回答精度を向上させるRAGに、さらなる工夫を加えることで回答精度をより向上させることのできるソリューションです。具体的には、プロンプトの入力 → 関係する知識情報の検索 → LLMに投げてresponseを受け取る、といったRAGの基本的な流れの中に、 検索した知識情報の関連度を評価し、関連が薄いと判断した際にはプロンプトをもう一度作り直す。 LLMが生成した応答が、検索した知識情報に基づいているか評価する LLMが生成した応答が、元の質問に対する回答として適切かを評価する という三つの評価を追加しています。各々の判定は回答生成とは
【開催報告 & 資料公開】RAG の困りごとは今日で一気に解決！ AWS 生成 AI Dive Deep | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】RAG の困りごとは今日で一気に解決！ AWS 生成 AI Dive Deep みなさま、こんにちは！Generative AI Specialist の大渕です。この記事では、RAG (Retrieval Augmented Generation) を使って自社の課題を解決したり自社サービスを強化したりしたいと考えているみなさまに耳寄りな情報をお届けします。 2024年9月19日に、RAG に関する悩みを持っている方を対象とした AWS オンラインセミナー「RAG の困りごとは今日で一気に解決！ AWS 生成 AI Dive Deep」が開催され、実用的な情報盛りだくさんの 3 つのセッションが実施されました。セミナーの見どころとしては、以下のとおりです。いずれかにピピっと来たら、ぜひこの記事を読み進めてください。
【AOAI】RAGパイプラインの構築から評価フェーズまでの実装を一挙解説！【Ragas】 | SIOS Tech. Lab
こんにちは、サイオステクノロジーの佐藤 陽です。 今回もRAGの構築に関する記事を書いていきます！ これまでも何本かRAGに関して書いてきましたが、 今回はそれらの集大成として、PDFを外部情報とするRAGを実装し、Ragasで評価するところまで、ソースコードと合わせて一挙ご紹介していこうと思います。 これを読めば、今日からRAGが構築ができるような記事になってます！ ぜひ最後までご覧ください！ はじめに 今回一番伝えたいことは、「評価を回しながらRAGの開発を進めてください！！」 という事です。 RAGというと、どうしても回答を出す部分に注目が行きがちですが、評価の方も非常に大切です。 生成AIを利用していることもあり、RAGの回答内容は不安定であるため、人間が評価するのが難しいことがよく言われています。 更にRAGを構築する要素の設計は多岐にわたります。 プロンプト変更 チャンキング戦
「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？ 日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま
独自ベンチマーク「ELYZA Tasks 100」を開発 モデルの性能評価では、2023年に独自のベンチマークテスト「ELYZA Tasks 100」を作成・公開している。これは、生成AIのテキスト出力を評価する指標で、100個の質問に答えた結果を人間が評価するものだ。 「当時は文章から単語を抜き出すようなベンチマークしかなく、チャットボットに期待する性能とは違った。そこで物語作成や歴史、算数など幅広い100のタスクからなるベンチマークを開発した。問題と出力結果、スコアもすべて公開し、公平性と透明性を重視している」 「RAGはそんなに簡単じゃない」 2024年の生成AI活用において、企業が持つ固有の知識をLLMに学習させる「RAG」（Retrieval-Augmented Generation、検索拡張生成）という手法に注目が集まっている。RAGは、関連する情報をLLMに検索・抽出させ、そ
RAGを使ってLLMでも最新情報や企業内情報にも対応する | ネットワンシステムズ
LLMに新たな知識を習得させる方法は3種類あります。LLM全体の再学習、LLM一部の再学習、Promptに情報を埋め込むになります。今回はPromptに情報を埋め込む、RAGについて解説します。 ライター：荒牧 大樹 2007年ネットワンシステムズ入社し、コラボレーション・クラウド製品の担当を経て現在はAI・データ分析製品と技術の推進に従事。最近では次世代の計算環境であるGPU・FPGA・量子コンピュータに注目している。 【更新日】2023/11/8 はじめに Chat-GPTに代表される、LLMに最新の情報やクローズド情報を返してほしい場合に、取りうる手段が3種類あります。 LLM全体の再学習 新規データを加えたデータセットでLLMをゼロから再学習します。コストは膨大となります。 LLMの一部の再学習 Fine Tuningと呼ばれる手法で、LLMの一部を新規データで再学習します。1.の
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Key considerations when choosing a database for your generative AI applications | Amazon Web Services
TiDBがベクトル検索機能を追加、専用ベクトルデータベースとの差別化はどこに？