LlamaIndex で ChatGPT に専門知識を組み込む裏側
こんにちは、初めましての方は初めまして。株式会社 Fusic で機械学習エンジニアをしている瓦です。最近は花粉との戦いで連日連夜盛り上がっています。 前回、LlamaIndex で ChatGPT に専門知識を組み込んでみた でローカルのデータに基づいて ChatGPT を使用する方法を紹介しました。ChatGPT には存在しないローカルのデータに基づいて文を生成出来ていましたが、LlamaIndex では裏でどのようにローカルのデータを使用しているのでしょうか？ この記事では、LlamaIndex がどのように動いているのかを探っていきたいと思います[1]。 作成されたインデックスの確認 とりあえず、LlamaIndex で生成されるインデックスについて見ていきましょう。簡単のために、「今日の晩御飯はハンバーグ！」とだけ書いたテキストファイルを用意し、LlamaIndex を使用してみま
LlamaIndexを完全に理解するチュートリアル その１：処理の概念や流れを理解する基礎編（v0.6.8対応） | DevelopersIO
なおRetrieverModeは、後述するas_query_engineでQueryEngineを作成する際に与えることができます。 Contextについて IndexとRetrieverは密接に関連しているものですが、それとは別に依存する処理クラスをContextとして与えます。 このContextは具体的には、Storage ContextとService Contextの２種類です。 冒頭のサンプルでは、デフォルトで動作しているためContextが見えないのですが、明示的に書くと以下のようになります。 from llama_index import StorageContext from llama_index.storage.docstore import SimpleDocumentStore from llama_index.storage.index_store import
LangChainの使い方 LlamaIndex編 - Qiita
1. はじめに 注: 初稿を書いたあとでLlamaIndexのAPI仕様が大きく変更されました。そのため、記載のソースコードや準備するデータの仕様に関する記述をllama-index==0.6.8に準拠したものに変更いたしました。 本記事は、下記の続編です。 前回紹介しきれなかった外部データを利用した回答精度の向上など、さらなるLLM(大規模言語モデル)の利活用をLangChainなどで実現する手段を解説していきます。 2. LlamaIndexの使い方 LangChainを使って外部データをLLMに受け渡す方法のひとつとして、LlamaIndex(旧名称: GPT Index)を使う方法を紹介します。 LlamaIndexとは、主に以下2点の機能を担うライブラリです。 LLMに外部情報を受け渡すための構造化データを作成する 作成した構造化データを踏まえて質問に回答するようLLMに要求する
ざっくりつかむ！LangChainのメンタルモデル
はじめに 昨今の激アツChatGPTブームを見ると、これをアプリとして開発してみたいと思う方も多いのではないでしょうか。気になって調べてみるとLangChainやLlamaIndexというライブラリに行き着く方も多いはずです。 そしてすぐ壁に直面すると思います。 結局これらのライブラリが 何で どういう時に どう使えば良いのか わからない！ そうです。私です。 特にLangChainは初めてLLMアプリ開発される方には少し難解です。LangChainは非常に積極的な開発がされているライブラリで、課題や良い方法が発見されればそれをすぐ実装！というスピード感で動いています。 その分、ドキュメントこそ整備されているものの膨大な情報量に迷子になりやすい状況です。 そこで、今回はLangChainのメンタルモデルを簡単に説明してみることにしました。 全体感が抑えられていればコアな情報、追加で必要とな
LlamaIndexのCSVローダーを使って独自CSV情報に関する質問をしてみた - Qiita
LlamaIndexとは LlamaIndex (旧GPTIndex) は、LLM(大規模言語モデル)と外部データの間を中継してくれるOSSです。公式ドキュメントによると以下のような機能を持ち合わせており、ざっくりというと既存のデータに対してインデックスを予め張る事でプロンプトがより適切な回答をしてくれるようになる仕組みを提供してくれます。 LlamaIndex機能 様々なデータ形式(API、PDF、ドキュメント、SQL など)の既存のデータソースへのコネクタを提供 非構造化データと構造化データのインデックスを提供 ユーザーがプロンプトを入力すると、その情報に関するデータを補強した出力を取得するためのインターフェイスを提供 コストパフォーマンスのバランスを考慮した便利なツールセットを提供 ローダー LlamaIndexはその機能の説明にあった通り独自データへのデータコネクタを提供しており、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Llama Hub