LlamaIndex（GPT Index）にDevelopersIOの記事を100件読み込ませて質問してみた | DevelopersIO
吉川@広島です。 本家ChatGPTとは違う、オリジナル知識を持ったChatGPTを作るにはどうしたら良いか調べていたところLlama IndexやLangChainを知りました。 そこで、LlamaIndexを使ってDevelopersIOブログを直近100記事ほど読み込ませ、本家ChatGPTとChatGPT+Llama Indexそれぞれに以下の質問をしてみました。 「DevelopersIOブログ内において、AWSに関する記事のURLを1つください。また、記事の要約を教えてください。」 本家ChatGPTに聞いた場合: ChatGPT+Llama IndexにDevelopersIOブログを直近100記事ほど読み込ませた場合: 記事のURLは"https://dev.classmethod.jp/news/230316-aws-trouble-webinar/"です。記事の要約は、
GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note
「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 【注意】ドキュメントが大きいと、OpenAI APIの呼び出しも多くなるので、コストを注意する必要があります。 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !p
言語の壁を打ち破る：GPT with 多言語インデックス - Qiita
この記事を読むと嬉しいこと 言語の壁を越えた、グローバルAIを作れます！ = GPTに英語と日本語、中国語、フランス語…の情報をまとめてインプットし、質問に答えさせることが出来ます！ """「Harry Potter（英語）」と「ぼっち・ざ・ろっく！」の情報をまとめて与えた後で質問をした時の回答""" # before index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、何を教えているかは不明です。 # after index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、魔法と魔法使いの学問を教えています。 背景・課題 今大人気のGPTに、外部情報を繋ぐGPT Indexが物凄い勢いで使われています。一方で、この仕組みを無邪気に使おうとすると、OpenAIに課金しまくることになり、お
Huggingface Transformers 入門 (2) - モデル｜npaka
1. モデルのカテゴリ「Huggingface Transformers」のモデルは、下のカテゴリに分類されます。 ・自己回帰モデル (Autoregressive models) ・オートエンコーディングモデル (Autoencoding models) ・Sequence-to-sequenceモデル (Sequence-to-sequence models) ・マルチモーダルモデル (Multimodal models) ・検索ベースモデル (Retrieval-based models)2. 自己回帰モデル 「自己回帰モデル」は、古典的な「言語モデル」で事前学習します。一連のトークンに続くトークンを予測します。このモデルはオリジナルのTransformerモデルのデコーダに相当します。文全体にマスクが使用されているので、アテンションヘッドは、次の文の前を見ることができ、次の文の後は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
