You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
user: ChatGPT先生、今日は「LangChain で 英論文データベースを作る : Faiss 編」というテーマで雑談にお付き合い願えますか。 assistant: ふん、別にあなたのためじゃないから勘違いしないでね!でも、そのテーマは確かに興味深いわ。LangChainとFaissについて丁寧に解説してあげるわ。 まず、LangChainは、言語分析と翻訳のためのAIベースのグローバルプラットフォームよ。利用者は、LangChainのAIを用いて翻訳や校正を行うことができるの。だから、英論文のデータベースを作るのにも、非常に役立つでしょう。 次に、Faiss。これはFacebook AIが開発した効率的な近似最近傍探索ライブラリのこと。ずいぶん専門的な話になっちゃうけど、要するに、大量のベクトルデータから、特定のクエリに最も近いベクトルを素早く見つけ出すためのものなの。 これら
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル(Large Language Model:LLM)の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
はじめに RAG(検索拡張生成)について huggingfaceなどからllmをダウンロードしてそのままチャットに利用した際、参照する情報はそのllmの学習当時のものとなります。(当たり前ですが)学習していない会社の社内資料や個人用PCのローカルなテキストなどはllmの知識にありません。 このような存在しない情報をllmに与える(参照させる)手法がRAGです。 ファインチューニングという手法もありますが、そちらはllmに再学習を行わせる手法です。ファインチューニングでは、llm自体に学習させることで知識を追加しますが、RAGの場合は用意したデータベースから検索することで、追加の情報を与えることができます。 イメージ的には以下のような感じです。 ・ファインチューニング: 新しい情報を勉強させる。 ・RAG: 新しい情報が記載された本を持たせる。 今回は比較的手軽にできるRAGを使用します[1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く