GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note
「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 【注意】ドキュメントが大きいと、OpenAI APIの呼び出しも多くなるので、コストを注意する必要があります。 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !p
「脱ブラックボックス化！LLMと一緒に使われるLangChainやLlamaIndexを徹底解説」というタイトルでDevelopersIO 2023に登壇しました #devio2023 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。 先日開催された DevelopersIO 2023 のチョークトークで登壇いたしました。 その際の資料と概要を共有いたします。 資料 登壇資料は以下となります。 概要のご紹介 以下の内容をご紹介しました。 OpenAI APIの話 APIの詳細な使い方 トークンとは何か Function callingの詳細 LangChainの概要 基本的なChain（LLMChain、SequentialChain） 応用的なChain（LLMRouterChain、SQLDatabaseChain、ConversationChain、RetrievalQA） Memoryの種類 Agentの種類 LlamaIndexの概要と仕組み LangChainとの違い、内部的な仕組み カス
Llama Hub
Our integrations include utilities such as Data Loaders, Agent Tools, Llama Packs, and Llama Datasets. We make it extremely easy to connect large language models to a large variety of knowledge & data sources. Use these utilities with a framework of your choice such as LlamaIndex, LangChain, and more. Learn More
LlamaIndex : ChatGPTで独自のデータに対して質問するためのフレームワーク
プロンプトによる知識の外挿ChatGPTは大規模なテキストデータで学習されていますが、学習されていないデータに関しては知識が乏しいという問題があります。 例えば、特定の製品に対して質問できるチャットボットを作ろうとした場合、ChatGPTはその製品の情報を持っていないため、適切な回答ができません。 この問題は、ChatGPTのPromptに製品の情報を埋め込むという方法で解決できます。例えば、 「Aという製品でCという機能が使えないがなぜか。」 という質問の前に、 「Aという製品はBという機能とCという機能を持っており、Bという機能はCという機能と組み合わせることができない。」 という仕様書のテキストを結合して、 「Aという製品はBという機能とCという機能を持っており、Bという機能はCという機能と組み合わせることができない。Aという製品でCという機能が使えないがなぜか。」 というクエリにす
GPT Index のナレッジグラフ機能を試す｜npaka
GPT Index のナレッジグラフ機能を試したので、まとめました。 1. ナレッジグラフ「ナレッジグラフ」 (Knowledge Graph) は、さまざまな知識の関係をグラフ構造で表したものです。知的システムの基盤となるデータベースとして用いられます。 「GPT Index」は、RDF フレームワークと直接互換性のある「トリプル」 (主語、述語、目的語) として表されるナレッジグラフデータをサポートします。内部的には、グラフデータは有向グラフとして管理されます。 現在、「GPT Index」は、LLMがサポートするトリプルの操作を2つ提供しています。 ・グラフ抽出 (Graph extraction) : 与えられたテキストからトリプルを抽出 ・グラフQ&A (Graph Q&A) : グラフデータを応答合成のコンテキストとして利用 2. グラフ抽出Google Colabでの「GPT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirecting...
LlamaIndex Workshop: Building RAG with Knowledge Graphs
GitHub - shi3z/peft_pretraining
LlamaIndex: the ultimate LLM framework for indexing and retrieval
GitHub - run-llama/llama-hub: A library of data loaders for LLMs made by the community -- to be used with LlamaIndex and/or LangChain
LlamaIndex and Deep Lake for Financial Statement Analysis
Querying external KBs through GPT — GPT Index (LlamaIndex)
11. OpenAI and Llama Index - Financial News Analysis
LlamaIndex - LlamaIndex