生成AIの誤回答を防ぐ「RAG」技術、要約業務で実装したデロイトトーマツの成果
生成AI（人工知能）を活用する際、企業にとって大きな課題となるのがAIがでたらめな回答をするハルシネーション（幻覚）だ。先行企業の多くは、ハルシネーションを軽減する取り組みを開始している。中でも注目される技術が検索拡張生成（RAG、Retrieval Augmented Generation）である。 ハルシネーション軽減にRAGを導入 「我々自身が生成AIを使った変革をしなければ、顧客の期待に応えられない」――。このように危機感をあらわにするのは、デロイトトーマツコンサルティングの藤岡稔大執行役員／パートナーだ。デロイトトーマツコンサルティングは2023年7月に、全社員5000人が生成AIを活用できる環境を構築。同年9月にはGPT-3.5だけでなくGPT-4も使えるようにするなど、生成AIを活用できる環境を積極的に整えている。 顧客企業が生成AIを活用するようになれば、生成AIで入手でき
オープンソースのRAG UI「kotaemon」を試す
2024/09/03追記 ちょっとX経由で見に来ていただいた方が増えているようなのであらかじめ注意。 kotaemonで普通のRAGをやる場合は、OpenAI/Ollamaどちらの場合でも多分問題なくできるんじゃないかと思います。 kotaemonでGraphRAGをやる場合（多分ここに期待している人が多いと推測）は、以下の注意が必要です。 OpenAIならGraphRAGが動作しますが、モデルがgpt-4-turbo限定になると思います、つまりコストが高いです OllamaでGraphRAGは現状の実装だとちょっと難しそうです 公式にIssue上げてます（どっちかというとGraphRAG側の問題かなと思います）ので、kotaemonのGraphRAG対応については今後のリリースに期待するほうが良いかなと個人的には思います。 ここで知った。 GitHubレポジトリ kotaemon ドキュ
生成AI活用で楽楽精算のエンジニアによる問い合わせ回答時間を75％削減！ - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに はじめまして、楽楽精算のサポートエンジニアを担当している梅田です。私たちのチームは、お客様がサービス利用におけるお困り事を解決できるよう、エンジニアの立場からサポートを行っています。本記事では、生成AIを活用して問い合わせ対応業務を効率化し、回答までにかかる時間を75％削減した取り組み、具体的な活用方法や効果、AI活用のポイントをお伝えします。 はじめに サポートエンジニアの概要 サポートエンジニアの役割 サービスデスク 問題管理 リリース管理 サポートエンジニアの連携先 サポートエンジニアの課題 問い合わせ対応における問題 問い合わせ対応における課題 サポート業務改善に生成AIの導入 改善に生成AIを選定した理由 生成AIを使った問い合わせの効率化 計画 工夫 成果 更なる改善 サポートエンジニアの概要 サポートエンジニアの主な業務の１つはお客様からの問い合わせ対応です。基本的
機械学習モデルの解析に新たな風を! Phoenixを使ってみる - Qiita
はじめに 本記事では、機械学習モデルの解析ライブラリであるPhoenixを解説します。Phonenixでは、入力データの迅速な可視化やパフォーマンスの確認、問題点の抽出とその改善を手助けなどができます。 上記は埋め込みベクトルをUMAPで次元削減し、HDBSCANでクラスタリングした結果の図です。(全てPhoenixが自動で行ってくれます。) 入力データとモデルの出力を関連づけることでより深い考察が可能である点 クラスタリングや次元削減の結果をもとに特徴のある入力データを特定&Exportでき、今後の改善に活かしやすい点 GitHub https://github.com/Arize-ai/phoenix ドキュメント https://docs.arize.com/phoenix Phoenixとは Phoenixとは、機械学習モデルの迅速な可視化やパフォーマンスの確認、問題点の抽出とその
Arize Phoenixで始めるお手軽RAG実験管理 - Re:ゼロから始めるML生活
最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug
【LLMOps】LLMの実験管理にTruLens-Evalを使ってみた | フューチャー技術ブログ
はじめにこんにちは、SAIG/MLOpsチームでインターンをしている吉田です。 LLMの実験管理ツール候補として、TruLens-Evalを検証しました。合わせて、LLMの実験管理についてまとめてみました。 背景と目的LLMOpsとは近年、大規模言語モデル(LLM)の性能が飛躍的に向上し、その高度な自然言語処理能力によって様々な領域での課題解決が期待されています。LLMは文章生成、翻訳、要約、質問応答など多岐にわたるタスクにおいて驚異的な成果を示しており、その応用範囲はますます広がっています。 LLMOpsは、LLMを組み込んだアプリケーション開発・運用の効率化を目指すプラクティスです。アプリケーションの種類や開発規模などによってLLMOpsのワークフローは大きく変わりますが、いずれの場合もLLMの性能評価や挙動の解析のために度重なる実験が必要となります。開発過程で行われる実験を適切に管理
GitHub - Arize-ai/phoenix: AI Observability & Evaluation
Phoenix provides MLOps and LLMOps insights at lightning speed with zero-config observability. Phoenix provides a notebook-first experience for monitoring your models and LLM Applications by providing: LLM Traces - Trace through the execution of your LLM Application to understand the internals of your LLM Application and to troubleshoot problems related to things like retrieval and tool execution.
LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 - Assured Tech Blog
LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 始めに こんにちは、エンジニアの大橋です。 LLMを用いたRAG（Retrieval-Augmented Generation）アプリケーションの開発において、精度向上のための評価方法に悩まれている方も多いのではないでしょうか。 今回、AssuredではRAGアプリケーションの評価にPhoenixというツールを導入してみました。Phoenixを利用することで、LLMに何を入力しどんな出力を得られたのかを可視化し、品質を改善させるサイクルを素早く行えるようになり、RAGアプリケーションの精度向上に非常に有用だったので、その活用方法をご紹介したいと思います。 実はPhoenixを使い始める前に、DeepEvalというLLM評価ライブラリのみを利用して、LLMの生成結果の評価を行おうとした時期があり
RAGを専門用語に強くする手法「Golden-Retriever」
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG（Retrieval Augmented Generation）を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
3Dモデルを0.5秒で作れるAI「Stable Fast 3D」が登場したので使ってみた
Stable Diffusionの開発元として知られるStability AIが、画像から3Dモデルを高速生成できるAIモデル「Stable Fast 3D」を公開しました。無料で使えるデモアプリも用意されていたので、実際に使ってみました。 Stable Fast 3Dのご紹介：単一の画像からの高速3Dアセット生成 — Stability AI Japan https://ja.stability.ai/blog/introducing-stable-fast-3d Stable Fast 3Dは2024年3月に発表された3Dモデル生成AI「TripoSR」の技術をベースに開発されたAIモデルで、7GBのVRAMを搭載したGPUなら0.5秒で3Dモデルを生成できます。 すでにStable Fast 3Dを無料で使えるデモアプリがウェブ上に用意されているので、以下の画像を3Dモデル化してみま
LLMを自社特化にする「RAG」を使いこなすには 具体的な実装パターン2選
この連載について AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。 生成AIの導入が進む中、多くの企業が直面している課題が「RAG」の最適化です。RAGとは、大規模言語モデル（LLM）に外部データベースからの情報を組み合わせることで、より正確で最新の情報を含む回答を生成する技術です。 LLMが学習している内容は汎用的な情報であるため、例えば自社の社則の内容に即した回答を得られません。「ChatGPT」などにはファイル添付機能をアップロードして明示的に社則を提示し、回答を得る方法もありますが、もしLLMに指示や質問した内容に
新しいRAGの仕組み！マイクロソフト、新技術GraphRAGをオープンソース化！｜0xpanda alpha lab
先週、マイクロソフトがオープンソース化した新しいRetrieval Augmented Generation（RAG）システム「GraphRAG」は、知識グラフを活用して生成と推論能力を飛躍的に向上させます。これにより、複雑な情報の関連性を理解し、高精度な回答を提供することが可能になります。GraphRAGの詳細とその活用方法について見ていきましょう。 GraphRAGとは何かGraphRAG（Graph-based Retrieval Augmented Generation）は、従来のRAG（Retrieval-Augmented Generation）技術をさらに一歩進めたものです。通常のRAGはベクトル類似性を用いた検索技術を利用しますが、GraphRAGはLLM（大規模言語モデル）を使って知識グラフを生成し、より高精度な情報検索と生成を可能にします。 公式ページ：https://
GraphRAG 第一弾 ~ Azureで動かしてみる ~
はじめに 今までのRAGは、ドキュメントをチャンク化して検索インデックスに格納し、クエリに対して検索、推論を行う といった手法でした。 この場合、ドキュメントのチャンク単位で検索され推論に使うため、ドキュメン卜横断で複雑な関係性に対し推論することには向いていないように思います。 GraphDBは、ドキュメントをノード（頂点）とリレーション（頂点間の関係性）に変換し、ドキュメント内の要素間の関係性を持つDBです。 以前に、LlamaIndexをベースにNeo4jへのナレッジグラフ生成を試してみましたが、日本語だと精度が落ちて実用には耐えられなさそうでした。 今回は、MicrosoftResearchからGraphDBのソリューションがGitHubで公開されたので、そちらを試してみます。 GraphRagのGitHubリポジトリ https://github.com/microsoft/gra
生成AIの活用方法 - 2024年現在、 結局どのように使えばいいのだろうか？ / How to use Generative AI in 2024
2024年6月13日に開催された APPS JAPAN の講演資料です。 講演詳細についてはこちらをご覧ください。 https://forest.f2ff.jp/introduction/9185?project_id=20240601
社内情報検索システムで用いられるRAGの4つの実装方法
2 松本 和高 株式会社エクスプラザ リードエンジニア X: _mkazutaka Github: mkazutaka 18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。趣味で、FXの自 動売買Botを作成している 現在08/30に第一子が生まれ現在育休中 https://note.com/mkazutaka/n/n9f0e2c4dee96 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクトの力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Overview: Tracing | Phoenix
Langfuse
https://twitter.com/udp_5060/status/1823362908463767755