気付けば「RAGの沼」 データ整備の工夫で脱出
生成AIで自社データを参照するための技術であるRAGだが、思い通りの回答精度を引き出せず四苦八苦する企業が多い。RAGの使いこなしが導入のポイントとなる。三菱電機は、家電の制御ソフトの開発工程で生成AIを使う。ソフトの改修内容を入力すると、該当する設計書や改修の影響が及ぶ部分を生成AIで抽出するシステムを開発した。RAGを構築する上で鍵になったのが、図や表を多用した開発文書の取り扱いだ。 生成AI基盤にはAWSの「Amazon Bedrock」を採用した。設計書や仕様書、ソースコードをAWSのオブジェクトストレージ「Amazon S3」に格納。Amazon BedrockにおけるRAGのマネージドサービス「Knowledge Bases」経由で、ユーザーの入力内容に関連する開発文書を検索する仕組みだ。しかし当初はRAGで思うように回答が得られなかった。開発文書のテキスト情報のみを検索対象に
多くの企業が「RAGの精度が出ない問題」に悩む中、ガートナーが「次のアプローチ」を予言
ガートナージャパンは2025年4月10日、企業のAIモデル活用に関する見解を発表した。汎用（はんよう）大規模言語モデル（LLM）は言語処理能力の点で強力であるものの、特定のビジネス領域での文脈を必要とするタスクでは応答の正確性が低下する傾向にあると指摘。このため、「企業は2027年までに汎用LLMよりも、小規模でタスクに特化したAIモデルを導入するようになる」と予測している。 Gartnerのスミット・アガルワル氏（バイスプレジデント アナリスト）は「小規模でタスク特化型のモデルは、応答が迅速で、計算リソースも少なくて済むため、運用や保守のコストを抑えられる。ビジネスワークフローでのタスクの多様性と、より高い正確性へのニーズが、そうしたタスク特化型モデルへの移行を促している」と述べている。 特化型モデルの主な構築方法としてはファインチューニングと検索拡張生成（RAG）がある。こうしたプロセ
製品ドキュメントは読むのではなく質問する時代
VS Code の GitHub Copilot が MCP クライアントとして動作する仕組みが追加されたので、Copilot から気軽に自社製品の質問ができたら、快適ではないだろうか？考えた。 そこで、ハルシネーションをできるだけ少なくし、かつ安価で自社製品ドキュメントへの質問ができる仕組みを作ってみることにした。ちなみに LLM 系の知識はほぼ無い。 できあがった Sora Document MCP (Local) 0:00 /0:57 1× GitHub Copilot + Sora Document MCP デモ まぁまぁの速度で、質の高い回答を箇条書きで返してくれるようにはなった。 仕組みについて自社製品のドキュメントは Sphinx というフレームワークをを利用しており、reStucturedText (以降 rst) というマニアックなもので書かれている。この rst を L
RAGの検索性能を90％も低下させるテキストの落とし穴
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの要であるEmbeddingの性能を大きく低下させてしまう、文章の特性について解説します。 このブログで紹介している内容は以下の論文を元に作成しておりますので、詳細はそちらをご確認ください。RAGを構成してみたが、どうしても正解の文章を取ってこれない！そんなときはもしかするとこの論文で紹介されているような文章になってしまっているかもしれません。 サマリー Embeddingは、RAGの検索能力の根幹に関わる機能ですが、そのの性能や特性についてはあまり知られてはいません。実は、保管するテキストの文体や分割方法次第で最大90％程度、検索性能が下がってしまいます。 今回紹介する論文では、Embeddingの性能を著しく下げるテキストの特徴を調べ、その性質についてまとめています。特に「文章の位置」、「使用する単語」、「文章量」
RAGで「無関係な」文書を入れると、逆に精度が上がる
本記事では、RAGの性能を高めるために「あえてノイズを注入する」手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 OpenAIがリリースした「Deep Research」[1]という機能が話題です。その中で、「AIが、全然関係ない思考を挟んでいる」という、興味深い報告がされています。[2] そして面白いのは、OpenAIが意図的にそうしている可能性が指摘されていることです。 そこで、この記事では、上記の根拠として挙げられている論文[3]について、日本語で簡単にまとめます。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー この論文は、RAGシステムにおいて、ノイズ（=無関係な文書）が与える影響を分析したものです。サ
RAGで「AIエージェント」を使う手法まとめ
本記事では、RAGの性能を高めるための「Agentic RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、「AIエージェント」をRAGに取り入れた手法である「Agentic RAG」のサーベイ論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Agentic RAG は、RAGの新しい手法です。この論文では、「RAGにAIエージェントを使っている」とはどういう状態なのか、どんなパターンがあるのかまとめられています。クリーブランド・ステート大学の研究者らによって、2025年1月に発表された論文です。 最近、「AIエージェント」が注目されてい
【メモ】RAGシステム構築の強い味方 - Doclingによるドキュメント変換入門 - uepon日々の備忘録
IBM watsonx.ai DojoでRAGとして様々なファイルのフォーマットを使用するための変換ツールを紹介していただきました。 それが今回紹介するDoclingです😊 Doclingとは？ Doclingは、簡単にいうならば様々なドキュメントに対応したHTML、Markdown、JSONへのコンバートツールになります。 ds4sd.github.io 【Doclingの特徴】 一般的な文書フォーマット（PDF、DOCX、PPTX、XLSX、画像、HTML、AsciiDoc、Markdown）を読み取り、HTML、Markdown、JSON（埋め込み画像や参照画像付き）にコンバート可能 ページレイアウト、読み取り順序、表構造を含む高度なPDF文書理解の能力もつ DoclingDocumentを使用することで、統一性と表現性を実現 LangChain、LlamaIndex、Crew A
RAG普及で加速する製造業のナレッジ活用 技術継承への貢献にも期待
RAG（Retrieval Augmented Generation：検索拡張生成）を社内で活用する企業が増えている。エクサウィザーズが2024年12月に公開したレポートによれば、同社セミナー参加者の内、「RAGを業務で活用している」と回答した企業は22.1％に上った。同年5月に実施した調査では4.0％であったことから、短期間で大幅にRAG活用が進んでいる様子がうかがえる。 製造業に限って見ても、試験的な導入を超えてRAG活用を本格化させようとする動きは非常に活発化している。これは、生成AIの効果的な活用を推進する上で、社内に蓄積されたデータやナレッジの活用が極めて重要だと多くの企業が気付き、すでにアクションを起こしていることの表れであろう。 RAG以外にも生成AIの回答精度を高める新規技術が登場している。その意味で、今後もRAGが生成AI活用に欠かせない強力なツールであり続けられるのかま
AIエージェントの発展とRAGの新境地、「エージェンティックRAG」が注目される理由 | AMP[アンプ] - ビジネスインスピレーションメディア
既存RAGの課題、ハルシネーションやコンテキスト理解不足など 企業における生成AI活用では、情報の正確性が特に重視される。そのため、生成AIを利用する場合、検索拡張生成（RAG）の導入が一般的となっている。RAGとは、生成AIに外部データベースを接続することで、より正確な回答を生成する手法。RAGは特に文書要約やシンプルなクエリへの回答で優れたパフォーマンスを発揮するといわれている。 しかし、既存のRAGシステムには、いくつかの課題が存在する。課題は大きく4つに分類される。 第1の課題は、RAGだけでは情報の正確性が担保できないことだ。たとえば、営業担当者が商談の売上を問い合わせた場合、チャットログやメール、CRMなど、複数のデータソースが参照対象に含まれる。この場合、CRMが最も信頼できる情報源となるはずだが、RAGシステムは、自律的にそのことを判断できないため、古いメールから誤った情報
![AIエージェントの発展とRAGの新境地、「エージェンティックRAG」が注目される理由 | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc80dbf681bce7b94a93e773a47e80104858886e/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F11%2Fshutterstock_2453842259.jpg)
RAG技術の現状考察と2025年のトレンド予想
本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD
【AWS re:Invent 2024】RAG 関連の5個のセッションの学びを濃縮してお届けします - カミナシ エンジニアブログ
こんにちは、AWS re:Invent から帰国した a2 (@Atsuhiro_tim) です。すき家がサラダをつけても $5 で、その美味しさと安さに涙を流しています。 さて、AWS re:Invent 2024 のセッションカタログを見ると、今年も GenAI が猛威を振るっていたことがわかります。 昨年は Gen AI x 〇〇 が多かったのですが、今年は一歩進んで、 RAG x 〇〇 や Agent x 〇〇 が出てきました。RAG については機能リリースのニュースは認識していたものの、実際に触ることがなかったので、今回の re:Invent で Gen AI や RAG 関連のセッションに参加してきました。複数のセッションの学びをまとめてシェアしたいと思います。 参加したセッション： Explore generative AI use cases with LangChain
RAG-1グランプリ 10位解法と振り返り - 質問と関連文書から Q&A システムを設計する｜s-miyawaki
本記事は Algomatic で開催している 2024 年度 アドベントカレンダー の一枠として投稿しています！弊社員による投稿もよければご覧ください 🎄📅 コンペ概要投稿数：3,634件 参加人数：1,464人 トップスコア推移（https://signate.jp/competitions/1407/leaderboard#scoregraph）タスク概要著作権が切れた 7 作品の 小説データ を対象とする長文読解タスク 与えられた 質問に対して小説から該当する解答を生成 する GPT-4o が解答の正確性を分類 して最終スコアが LB に反映される なお LLM-as-a-Judge や人が作問している以上、表層レベルでの判定誤りが発生する可能性は許容しないといけない 正確性の分類（https://signate.jp/competitions/1407#evaluation よ
【ServerlessDays 2024】生成AIアプリ実装におけるトレンド3選 - Qiita
・機能の多様化&複雑化 ・生成AIに仕事の一部を任せる ・ハルシネーションは許されなくなっていく ・出力内容の評価も生成AIが行う ・人間は更なる精度向上を求める ・生成AIを使いこなす技術力と知識が必要 ・AIがAIを使う時代へ このように移り変わっていくフェーズが来ている、と個人的には感じました。 ここからは、前述した3つのトレンドについて、1つずつ掘り下げていきます。 LLMが生成した出力を、LLMで評価する 例えば「オンライン薬局のLLMマルチエージェントを支えるLLM Ops」というセッションでは、患者さんとメッセージをやり取りする薬剤師さんに対して、返信のレコメンド文をLLMに出力させるという取り組みをされていました。 このサービスにおけるミッションは「漢方をお客様に販売すること」なので、虚偽・不正確な情報が入っていては困ります。 LLMが生成したメッセージを薬剤師さんがチェッ
ガートナージャパンが「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2024年」発表。Web3やNFTは幻滅期、生成AIは過度な期待、汎用AIは黎明期
ガートナージャパンが「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2024年」発表。Web3やNFTは幻滅期、生成AIは過度な期待、汎用AIは黎明期 調査会社のガートナージャパンは、「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2024年」を発表しました。 ハイプサイクルとは ガートナーのハイプサイクルは、技術の登場から安定までを5つのステージに分けて説明したものです。5つのステージは、「黎明期」から始まり、「『過度な期待』のピーク期」「幻滅期」「啓発期」「生産性の安定期」まで。この途中で消えていく技術もあります。 米調査会社のガートナーはグローバルな視点で毎年「先進テクノロジのハイプ・サイクル」を発表していますが（今年もおそらく間もなく発表されると思われる）、今回発表されたのは日本において、未来志向型と捉えられるテクノロジやトレンドとなっている40のキ
生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ インタビュー ＞ 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 AI AI記事一覧へ [インタビュー] 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 米ガートナー バイスプレジデント アナリスト アンソニー・ムレン氏 2024年7月25日(木)田口 潤（IT Leaders編集部） リスト 生成AIが画期的な技術であることは論を要しない。だれもが簡単に利用でき、文書の作成や要約、翻訳、問い合わせへの回答、アイデア出し、表や図形・画像の自動作成など、さまざまな処理を高いレベルでこなしてくれる。半面、進化の最中にある技術であり、平気で間違えることもあって、業務で効果的に活用するのはそれなりに難しい。企業
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル
スライド概要 実務においてRAG（Retrieval-Augumented Generation）をたっぷり経験したhoxo-mの学びと現場のノウハウをまとめた
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ask! NIKKEI RAG検索技術の深層
Top 21 Famous RAG Frameworks in 2025
