【イベントレポート】AWS AI Day：生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例 #awsAIday｜AICU media
【イベントレポート】AWS AI Day：生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例 #awsAIday 2024年9月9日、生成AIの最新動向と活用事例を学べるイベント「AWS AI Day」が開催されました。会場は、生成AIの可能性に期待を寄せる多くの参加者で熱気に包まれました。 今回は、イベントの注目セッションや見どころをレポートします。 AWS AI Day生成AIの最前線を探る: 最新事例と実践的ハンズオン https://aws-ai-day-jp.splashthat.com/ 2024 年 09 月 09 日 14:00 - 18:00 JST 会場となったザ・プリンス パークタワー東京 ボールルーム ABC オープニングセッション：AWSの生成AI戦略と最新アップデートオープニングセッションでは、アマゾン ウェブ
Advanced Retrieval-Augmented Generation: From Theory to LlamaIndex Implementation
Difference between Naive and Advanced RAG (Image by the author, inspired by [1])A recent survey on Retrieval-Augmented Generation (RAG) [1] summarized three recently evolved paradigms: Naive RAG,advanced RAG, andmodular RAG.The advanced RAG paradigm comprises of a set of techniques targeted at addressing known limitations of naive RAG. This article first discusses these techniques, which can be ca
RAGに関する主要な論文を時系列順にまとめていく(2024年度版)｜R
RAGに関する主要な論文まとめていきます。(過去の分含めて随時更新予定) 見つけたものからまとめているので、最新の2024年以降の論文多めです。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(22/05/2022) 一言紹介❓ LLMって、事前学習された知識に関しては答えてくれるけど、最新のニュースだったり、専門的な情報や組織固有の情報には対応できないよなぁ 💡 外部知識をLLMに検索させよう!→RAGの誕生 Abstract日本語訳大規模な事前学習済み言語モデルは、そのパラメータに事実知識を蓄積し、下流の自然言語処理（NLP）タスクに微調整されたときに最先端の成果を達成することが示されています。しかし、知識をアクセスして正確に操作する能力は依然として限られており、知識集約型タスクでは、タスク固有のアーキ
Graph RAGでRAGの精度向上を - Qiita
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。 以前の記事：【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成)ではベクトルデータベースを利用したRAGの実装をご紹介しました。LLMが学習していないデータ(社内ドキュメントなど)をベクトルデータベースにロードし、LLMがそのデータを「参照」しながらユーザーのプロンプトに回答するシステムで、処理フローとして下図のようになります。 ①ユーザープロンプトの文章と類似の文章をベクトルデータベースに問い合わせる ②ベクトルデータベースの中からテキスト生成に必要なヒントとなる文章(RAGではコンテキスト(context)と呼ぶ)をベクトル類似検索処理で検索する ③ユーザープロンプトに加えて、検索したテキストを
RAGの評価と改善箇所特定方法について考えていることのメモ - Qiita
これは何 RAGの構築そのものよりも RAGの回答品質を上げるためにどの指標をどう使うか RAGの回答品質を上げるために人手でやるべき評価は何か RAGの回答品質が十分であることをどのように確かめるか に焦点を充てた考え方の整理 基本的にはRAG評価フレームワークで有名なOSSのRAGASの指標や用語を使うが、一部大胆に拡張する。 今回、RAGで参照するドキュメントは規定やマニュアル等の「自組織で作成・管理している」「他組織で作る場合も全体像は把握できている」ケースを想定しており、例えばWeb検索で幅広に情報収集するケースは想定していない。自前でRAGを作りたい場合は、独自のドキュメントで特化型のRAGを作りたい！が大半のはず 用語の全体像。以下、この図の解説 人力質問応答（問い合わせ窓口・ヘルプデスク）対応 用語 real question 実際のユーザからの質問内容 質問内容に直接関係
実例で紹介するRAG導入時の知見と精度向上の勘所
2024/04/24に開催したセミナーで登壇した際に、使用した資料です https://dev.classmethod.jp/news/240424-ai-rag-webinar/
ChatGPT/AOAI自社データ活用(RAG)の精度向上のプラクティス【情シス向け】
セキュリティチームの ぐっちー です。最近のAIブームにより、毎日のようにChatGPTの自社データ活用に関する商談をやっていおり、セキュリティの仕事はあんまりやってませんｗ 今日は商談の中で、かなりの確率で質問されることが多い「精度向上にはどういう手法があるか？」という点をブログにしました。権威ドキュメントや公式ドキュメントの情報ではなく、様々な手法の中から僕なりに情シス向けにトリアージをしたもので、網羅性には欠けると思いますが、参考情報として見ていただけたら幸いです。 本ブログの内容は、2023年10月22日時点までの情報を元に作成しております。 精度向上に対しての有効なプラクティスは企業の置かれている状況やユースケースによって異なりますので、参考までに見ていただけたら幸いです。 本ブログはベストプラクティスや特定の正解を提供することを主旨とするものではありません。あくまで、プラクティ
RAGを使った企業独自の情報に基づいた文書生成AI：募集要項の事例｜Algomatic
はじめに企業における生成AI活用の代表的な要望として、企業独自の情報に基づいた文書生成が注目を集めています。本記事では、過去の募集要項（JD）を参照しながら、ユーザーとインタラクティブに募集要項を作成できるチャットボットをご紹介いたします。このツールはRetrieval-Augumented Generation（RAG）技術を活用しChatGPTのような汎用AIでは難しかった、企業独自の情報を反映した文書生成を可能にします。 既存の募集要項作成業務における課題企業における資料作成は多くの時間と労力を要する重要な業務の一つです。とくに、募集要項の作成はその典型的な例として挙げられます。人材採用に力を入れている企業では、それに伴い募集要項を頻繁に作成する必要があります。募集要項は求める人材のスキルセット、経験、責任範囲を明確に定義する重要な文書です。しかし、その作成の過程には3つの課題が存在
あらゆる分野のRAGの性能を評価する手法RAGEval
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、ドメインに特化したRAGの性能を検証するためのフレームワーク、RAGEvalについて解説します。 サマリー RAGの手法は日夜研究され、新しい手法は次々に提案されています。RAGに限った話ではないですが、システムの性能を計測するには評価するための方法が重要です。そしてRAGの性能を計測するにはドキュメントと質問、そして正解ドキュメントと正答のセットが必要になります。 RAGEvalは、これらの計測に必要なデータをLLMとそのドメインに使用するサンプルのドキュメントを用いて自動的に生成する事が可能となっています。 問題意識 RAGのテストデータを用意するのは大変 RAGの評価には必ず評価するため
実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル
RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・
RAGのGが必要か不要かに関する一考察 | DevelopersIO
まとめ RAGにおける回答生成が必要か不要かに関して考えました。業務面・技術面・環境面を整理して判断するのが良さそうです。また、情報検索のみで良いのかという点について、回答生成以外の要素も含めて考えてみました。 はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、
LLM From the Trenches: 10 Lessons Learned Operationalizing Models at GoDaddy
Copy linkShare "LLM From the Trenches: 10 Lessons Learned Operationalizing Models at GoDaddy" on FacebookShare "LLM From the Trenches: 10 Lessons Learned Operationalizing Models at GoDaddy" on XShare "LLM From the Trenches: 10 Lessons Learned Operationalizing Models at GoDaddy" on LinkedInShare "LLM From the Trenches: 10 Lessons Learned Operationalizing Models at GoDaddy" on Pinterest GoDaddy has
[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Retrieval-based LM (RAG system) ざっくり理解する
自分用の整理・勉強会用として作成した解説資料です。内容の正確性については保証しかねますので必ず論文を参照してください。誤りや引用漏れ等がありましたら @catshun_ までご指摘いただけますと幸いです。
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
三菱総研などが生成AIに2段階で回答させる技術、FAQ要約と新FAQ生成の組み合わせ
三菱総合研究所（MRI）とPKUTECHの2社は生成AI（人工知能）による問い合わせ対応業務の品質向上と効率化を図るシステムを開発した。既存のFAQ（よくある質問）を要約して回答する「FAQ要約回答」と、マニュアルなどに基づいて新しいFAQを生成して回答する「FAQ自動生成」という2つの技術を組み合わせる。2024年4月24日に発表した。 本システムはまず、FAQ要約回答を用いて問い合わせに対する1次回答を即時に出力する。FAQの要約だけでは回答できない場合はその旨を出力する。続いて、業務マニュアルや過去の応答ログなどを参照するFAQ自動生成によって、より詳細で正確な2次回答を出力する。2段階の回答を行うことで、問い合わせに対する高速なレスポンスと、難しい質問に対する的確な回答を両立させる狙いだ。 FAQ要約回答とFAQ自動生成はいずれも、大規模言語モデル（LLM）の外部にある情報に基づい
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした要約結果をClaude3 Sonnet
A Survey on Retrieval-Augmented Text Generation for Large Language Models
Retrieval-Augmented Generation (RAG) merges retrieval methods with deep learning advancements to address the static limitations of large language models (LLMs) by enabling the dynamic integration of up-to-date external information. This methodology, focusing primarily on the text domain, provides a cost-effective solution to the generation of plausible but incorrect responses by LLMs, thereby enha
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Modular RAG and RAG Flow: Part Ⅰ
RAGのサービスをリリースして1年が経ちました
