LangChain のユースケース｜npaka
「LangChain」 のユースケースをまとめました。 1. RAGのQA「RAGのQA」は、RAG技術を使用して、特定の情報源に関する質問に回答するチャットボットを構築します。RAGは、ユーザーの質問に応じて適切な情報を検索し、それをLLMのプロンプトに組み込むことで、LLMの知識を強化します。具体的には、ドキュメントと読み込み、チャンクに分割して、インデックスを作成した後、ユーザーの入力に基づいて関連するデータを検索し、回答を生成します。 2. 情報抽出「情報抽出」は、LLMでテキストから構造化データを抽出するユースケースです。次の3つのアプローチがあります。 ・Tool Callingモード : Tool Callingで指定されたスキーマに従って、構造化データを出力 ・JSONモード : プロンプトの一部としてスキーマを提供し、JSONデータを出力 ・プロンプトベース : 指示に従
LangChain への OpenAIのRAG戦略の適用｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note
「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 【注意】ドキュメントが大きいと、OpenAI APIの呼び出しも多くなるので、コストを注意する必要があります。 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !p
Stable Diffusion web UI (AUTOMATIC1111) の使い方｜npaka
Stable Diffusion web UI (AUTOMATIC1111) の使い方をまとめました。 ・Windows 11 ・Stable Diffusion WebUI Docker v1.0.2 ・AUTOMATIC1111 1. AUTOMATIC1111「AUTIMATIC1111」は、「Stable Diffusion」のフォークの1つで、最も豊富な機能が提供されているフォークです。 主な特徴は、次のとおりです。 ・Text-to-Image : 多くのサンプラーとネガティブプロンプトが利用可能。 ・Image-to-Image : マスキング、トリミング、インペインティング、アウトペインティング、バリエーションが利用可能 ・GFPGAN、RealESRGAN、LDSR、CodeFormer ・ループバック、プロンプト重み付け、プロンプトマトリックス、X/Yプロット ・生成
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
