タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
LlamaIndexを使ってAWS CDKの記事200本以上でインデックスを作りOpenAIに質問してみた | DevelopersIO
OpenAIのAPIに対してLlamaIndexを使い特定の分野の記事を取り込むと正しい答えが返ってくるのか確認してみました。本記事ではAWS CDKを対象に調査しています。 はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回はタイトルの通り、LlamaIndexを使いOpenAIにAWS CDKに関する記事（DevelopersIOのもの)を200本以上でインデックスを作り、どのような返答が返ってくるのか試してみました。LlamaIndexとは、簡単な実装で個別のインデックスを作成しOpenAIのモデルに対して問い合わせできるインターフェースです。詳細は以下をご確認ください。 インデックスの対象となる記事 AWS CDKのタグが付いている記事で、2021年12月21日から2023年3月8日までの合計240本の記事を対象にします。こちらで1つのAWS CDKというジャンルに対し
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました | DevelopersIO
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました ChatGPT APIがリリースされて、すでにさまざまな試行錯誤が始まっていますね。 なかでも、「自社の独自のデータを使ってChatGPTに質問を答えさせたい」というのは興味を持っている方が多いのでは、と思います。しかしながら、この記事を書いている2023年3月12日現在では、最新のモデルであるgpt-3.5-turboに、標準機能で追加で独自のデータをユーザーが学習させることはできません。 この「独自のデータをChatGPTで使う」ことを簡単に実現させる手段の1つとして、LlamaIndex（旧GPT Index）に注目が集まっています。 このDevelopersIOでも、LlamaIndexを使ってブログ記事を読み込ませて質問してみる、という試みを紹介する記事がいくつか投稿されてい
「脱ブラックボックス化！LLMと一緒に使われるLangChainやLlamaIndexを徹底解説」というタイトルでDevelopersIO 2023に登壇しました #devio2023 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。 先日開催された DevelopersIO 2023 のチョークトークで登壇いたしました。 その際の資料と概要を共有いたします。 資料 登壇資料は以下となります。 概要のご紹介 以下の内容をご紹介しました。 OpenAI APIの話 APIの詳細な使い方 トークンとは何か Function callingの詳細 LangChainの概要 基本的なChain（LLMChain、SequentialChain） 応用的なChain（LLMRouterChain、SQLDatabaseChain、ConversationChain、RetrievalQA） Memoryの種類 Agentの種類 LlamaIndexの概要と仕組み LangChainとの違い、内部的な仕組み カス
Llamaindex を用いた社内文書の ChatGPT QA ツールをチューニングする - GMOインターネットグループ グループ研究開発本部
D.M.です。Llamaindex で ChatGPT と連携した社内文書の QA ツールを構築した際にハマったことを書いていきます。 ChatGPT に追加でデータを与える課題へのアプローチ 今回やりたいこと つくったもの システム構成 ユースケース はじめに書いたソースコード Llamaindex 処理フロー Llamaindex チューニング課題 元ネタのテキストファイルをベクター検索のチャンクに収まるように意味の塊にする 課題１ ベクター検索の2番目のドキュメントが正解だったりする問題 課題２ 複数のドキュメントを読ませると間違える確率が上がる問題 課題３ 失敗している理由がよくわからない問題 課題４ ときおり英語で返してくる問題 課題５ OpenAI API がタイムアウトする問題 Tips１ ローカルファイルを小さくしたい Tips２ 回答をもっと厳密にしたい ChatGPT
「LlamaIndex v0.6」で大きな変更があったので更新しました。 ・LlamaIndex v0.6 【最新版の情報は以下で紹介】 1. LlamaIndex「LlamaIndex」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。同様のチャットボットは「LangChain」でも作成できますが、「LlamaIndex」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install
GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications
LlamaIndex (GPT Index) is a data framework for your LLM application. Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python: Starter: llama-index (https://pypi.org/project/llama-index/). A starter Python package that includes core LlamaIndex as well as a selection of inte
『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』著者の布留川氏は、登壇時点までのOpenAIの最新情報と、最新技術情報のキャッチアップ術について話しました。全4回。前回はこちらから。 「LangChain」と「LlamaIndex」の違い 布留川英一氏：OpenAIの新機能を話したので、次にLangChain 0.1とLlamaIndex 0.10について話そうかと思います。今回のOpenAI本にはこのLangChainとLlamaIndex（の話題）は入れませんでした。その1個前の本にはLangChainとLlamaIndexは入っていたんですが、今回の本には入れられませんでした。 年末ぐらいにLangChainとLlamaIndexの大規模アップデートがありました。より実用的なLLMアプリケーションを作るために大規模アップデートがあったので、本に
ChatGPT楽しいですね!!特にChatGPTが質問したら何かを教えてくれるAIではなく、質問に合わせて文章を作るAIだと認識してから楽しくて仕方ありません。 というわけで最近、伺かの仕様調査をしているのでOpenAIのAPIとLlamaIndex（GPT Index）を使って、仕様を聞いたら仕様に則って回答するAIを作成してみます。 仕様に関する文章 今回はこちらのドキュメントを仕様として回答できるようにしていきます。 ChatGPTのみで問い合わせた場合 Question: SSTPのリクエスト仕様としてCharsetに指定可能な値を全て教えてください。回答には出典のリンクを含めるようにしてください。未定義の場合はundefinedと返してください。 SSTP（Secure Socket Tunneling Protocol）におけるCharset（文字セット）に指定可能な値は、RF
[LlamaIndex]AWS Lambdaで作成済みのインデックスをクエリしてみた | DevelopersIO
LlamaIndexをAWS Lambda上で動かす方法を解説しました。AWS Lambdaだと、リアルタイム性は落ちますが、管理はしやすくなりそうです。 はじめに こんにちは、筧( @TakaakiKakei )です。 LlamaIndexはOpenAIのLLMに独自のデータを読み込ませる仕組みです。 DevelopersIOでは既に色んなAWS環境で動かす方法が紹介されています。 本ブログではAWS Lambdaで作成済みのインデックスをクエリする例をご紹介します。 リアルタイム性をそこまで求められない場合に、役に立つかもしれません。 コード Serverless Framework を利用してデプロイします。 デプロイ方法はREADMEを参照ください。 工夫点 レスポンス改善 handler内でインデックスのロード処理を書くと、Lambdaが実行する度にロードしてしまうため、レスポン
A Cheat Sheet and Some Recipes For Building Advanced RAG — LlamaIndex, Data Framework for LLM Applications
It’s the start of a new year and perhaps you’re looking to break into the RAG scene by building your very first RAG system. Or, maybe you’ve built Basic RAG systems and are now looking to enhance them to something more advanced in order to better handle your user’s queries and data structures. In either case, knowing where or how to begin may be a challenge in and of itself! If that’s true, then h
LlamaIndexを完全に理解するチュートリアル その１：処理の概念や流れを理解する基礎編（v0.6.8対応） | DevelopersIO
なおRetrieverModeは、後述するas_query_engineでQueryEngineを作成する際に与えることができます。 Contextについて IndexとRetrieverは密接に関連しているものですが、それとは別に依存する処理クラスをContextとして与えます。 このContextは具体的には、Storage ContextとService Contextの２種類です。 冒頭のサンプルでは、デフォルトで動作しているためContextが見えないのですが、明示的に書くと以下のようになります。 from llama_index import StorageContext from llama_index.storage.docstore import SimpleDocumentStore from llama_index.storage.index_store import
LlamaIndex（GPT Index）にDevelopersIOの記事を100件読み込ませて質問してみた | DevelopersIO
吉川@広島です。 本家ChatGPTとは違う、オリジナル知識を持ったChatGPTを作るにはどうしたら良いか調べていたところLlama IndexやLangChainを知りました。 そこで、LlamaIndexを使ってDevelopersIOブログを直近100記事ほど読み込ませ、本家ChatGPTとChatGPT+Llama Indexそれぞれに以下の質問をしてみました。 「DevelopersIOブログ内において、AWSに関する記事のURLを1つください。また、記事の要約を教えてください。」 本家ChatGPTに聞いた場合: ChatGPT+Llama IndexにDevelopersIOブログを直近100記事ほど読み込ませた場合: 記事のURLは"https://dev.classmethod.jp/news/230316-aws-trouble-webinar/"です。記事の要約は、
1. はじめに 注: 初稿を書いたあとでLlamaIndexのAPI仕様が大きく変更されました。そのため、記載のソースコードや準備するデータの仕様に関する記述をllama-index==0.6.8に準拠したものに変更いたしました。 本記事は、下記の続編です。 前回紹介しきれなかった外部データを利用した回答精度の向上など、さらなるLLM(大規模言語モデル)の利活用をLangChainなどで実現する手段を解説していきます。 2. LlamaIndexの使い方 LangChainを使って外部データをLLMに受け渡す方法のひとつとして、LlamaIndex(旧名称: GPT Index)を使う方法を紹介します。 LlamaIndexとは、主に以下2点の機能を担うライブラリです。 LLMに外部情報を受け渡すための構造化データを作成する 作成した構造化データを踏まえて質問に回答するようLLMに要求する
「GPT Index」が「LlamaIndex」にリブランディングされました。 ・LlamaIndex v0.5.12 【最新版の情報は以下で紹介】 1. LlamaIndex「LlamaIndex」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。同様のチャットボットは「LangChain」でも作成できますが、「LlamaIndex」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip in
LlamaIndexのインデックスを更新し、更新前後で知識がアップデートされているか確認してみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はFine-tuningなしにGPTをカスタマイズして使用可能な、LlamaIndex（旧称GPTIndex）のindex更新についてご紹介します。 LlamaIndexとは LlamaIndexは大規模言語モデル(LLM)と外部データ(あなた自身のデータ)を接続するためのインターフェースを提供するプロジェクトとなっています。 LLMのカスタマイズするためのパラダイムには主に２種類があります。 LLMをFine-tuningする 入力プロンプトにコンテキストを埋め込む LlamdaIndexは後者を、より性能よく、効率よく、安価に行うために様々なデータ取り込みやインデックス化を実施することが可能です。 これらのことは、LangChainというライブラリでも実行できますが、LlamdaIndex
脱ブラックボックス化！LLMと一緒に使われるLangChainやLlamaIndexを徹底解説
複雑なドメインを扱うプロダクトの探索フェーズではいつどのようにテストをするのか / How to testing during exploratory phase
LlamaIndexを使って独自データをQ&AするだけならOpenAI API使わなくてもいいでない？ - Qiita
LlamaIndexを使って独自データをQ&AするだけならOpenAI API使わなくてもいいでない？PythonLLMLlamaIndexllama.cppELYZA-japanese-Llama-2-7b はじめに どうも、レガシー組込みエンジニアの@yagisawaです。 組込みエンジニアでもChatGPTはやっぱり気になる！ってことでどんな事ができるのかちまちま調査をしています。やはり独自データについてQ&Aできるのは、属人化を防ぐ意味でもかなり有用だと思い調査を進めたところ、LlamaIndexでそのようなシステムが構築可能という情報に辿り着きました。 しかし他の方が書かれているブログのコードを見てみると、当然のように
Turn your enterprise data into production-ready LLM applications
以下の記事が面白かったので、かるくまとめました。 ・Multi-Modal RAG 1. マルチモーダルRAG「OpenAI Dev Day」で最もエキサイティングな発表の1つは、「GPT-4V API」のリリースでした。「GPT-4V」は、テキスト/画像の両方を取り込み、テキスト応答を出力できるマルチモーダルモデルです。これにより、LLMが新しいステージに拡張されます。 過去1年、LLMアプリケーションスタックはテキストの入出力を中心に出現しました。最も注目された例の1つが「RAG」(検索拡張生成) です。LLMと外部テキストを組み合わせて、モデルが学習していないデータを推論できるようになります。 「RAG」がエンドユーザーにもたらした最も大きな影響の1つは、非構造化テキストデータの分析にかかる時間の短縮です。任意のドキュメント (PDF、Webページ) を処理し、ストレージにロードして
LlamaIndexを完全に理解するチュートリアル その１：処理の概念や流れを理解する基礎編（v0.7.9対応） | DevelopersIO
本記事から数回に分けて、LlamaIndexの中身を深堀していく記事を書いていこうと思います。 本記事の内容 初回は基礎ということで、サンプルコードを例にLlamaIndexで登場する処理を深堀して、カスタマイズのヒントになる知識を得ていきます。 基礎編とはなっていますが、結構長めの記事となっています。 基礎が最も大事ということで、LlamaIndexをただ単に使用するだけではブラックボックス化してしまいがちな概念や処理の流れを一通り洗い出しています。 これ以降の記事では、この基礎をベースにしてどのようなユースケースとカスタマイズが考えられるのかを記事にしていこうと思いますが、初回から重たいので完全理解するよりは、今後の拠り所とする感じにして頂けますと幸いです。 LlamaIndexとは LlamaIndexは大規模言語モデル(LLM)と外部データ(あなた自身のデータ)を接続するためのイン
Python版の「LlamaIndex」のクイックスタートガイドをまとめました。 ・LlamaIndex v0.8.59 1. LlamaIndex「LlamaIndex」は、プライベートやドメイン固有の知識を必要とする専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 2. LlamaIndexの5つのステージ「LlamaIndex」には、5つのステージがあります。 2-1. Loadingデータソース (テキストファイル、PDF、Webサイト、データベース、APIなど) からデータを読み込みます。 「Loading」の主要コンポーネントは、次のとおりです。 ・Document : データソースのコンテナ ・Node : Documentを分割したもの。チャンクとメタデータが含まれる ・Connector : データソースからDocumentおよびNodeに取り
LangChainのAgentをLlamaIndexのインデックスでカスタマイズしてみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 LangChainのAgentのカスタムツールとして、LlamaIndexのインデックスを使用する方法を紹介します。 LangChainとは LlamdaIndexと同様、大規模言語モデル(LLM)をカスタマイズして使用するためのライブラリです。 カスタムされたチャットボットやエージェントを作成することが可能で、以下のような様々な外部リソース・サービスと連携可能です。 OpenAIのChatCompletion（要するにChatGPT） Google検索やOpenSearchなどの検索サービス Hugging Faceのエコシステム Pythonのコーディングをするツール 例：PyTorchでhogehogeな構成のサンプルコードを教えて、など SQLデータベースなどのリソース 例：hogehog
LlamaIndexを触ってみた
はじめに 先日クラスメソッドさん主催のDevelopersIO 2023に参加してきました！ どれも聞き応えのあるセッションで大変勉強になりました。 その中でLlamaIndexというライブラリを利用して、ChatGPTに独自データを付与するセッションがあり、ChatGPTのAPI初心者である自分でもできそうだったのと、面白そうだなと思ったのでやってみました！ LlamaIndexとは LlamaIndexは、大規模言語モデル（LLM） と外部データを接続するためのインターフェースを提供します。LlamaIndex を使うと、自分の持っているデータをLLMに組み込んで、質問があった際はこのデータを参照しつつ返答を返すことができます。 パッケージのインストール Pythonで以下のパッケージをインストールします。 今回はPDFから独自データを読み取るためpypdfもインストールします。 読み
「LlamaIndex」で「ChatGPT API」を試したので、まとめました。 1. ChatGPT API「LangChain」のLLMは今まで「GPT-3」(text-davinci-003) が事実上の標準でしたが、今後は「ChatGPT API」(gpt-3.5-turbo) が標準になりそうです。「ChatGPT API」は「GPT-3」に比べて価格が 1/10 になりました。 2. Colabでの実行基本的に、以下の記事と同じ手順です。 違いは、インデックス生成時に、llm_predictorに「ChatGPTLLMPredictor」を指定することです。prepend_messagesには、プレフィックスメッセージを指定します。デフォルトは「{"role": "system", "content": "You are a helpful assistant."}」です。 f
LlamaIndex のインデックスを読み込んで応答する Slack アプリを AWS Fargate で実行する | DevelopersIO
SlackアプリでLlamaIndexを動作させる実行環境として、AWS Fargateのコンテナ環境を利用する構成例をすぐに試せるCloudFormationテンプレート付きでご紹介します ども、大瀧です。 LlamaIndexはOpenAIのLLMに独自のデータを読み込ませる仕組みです。本ブログではSlackアプリでLlamaIndexを動作させる実行環境として、AWS Fargateのコンテナ環境を利用する例をご紹介します。 構成 AWSの構成は非常にシンプルです。Slackアプリのソケットモードはインターネットからのアクセスが不要なので、AWS FargateのサービスをELBなしで構成します。あらかじめ作成しておいたLlamaIndexのインデックスファイルをS3にアップロードし、コンテナではインデックスファイルを読み込んでSlack API、OpenAI APIとそれぞれ連携し
A Cheat Sheet and Some Recipes For Building Advanced RAG | by Andrei | in LlamaIndex Blog - Freedium
LlamaIndex Blog · ~7 min read · January 5, 2024 (Updated: January 5, 2024) · Free: Yes It's the start of a new year and perhaps you're looking to break into the RAG scene by building your very first RAG system. Or, maybe you've built Basic RAG systems and are now looking to enhance them to something more advanced in order to better handle your user's queries and data structures. In either case, kn
以下の記事が面白かったので、かるくまとめました。 ・Building Performant RAG Applications for Production 1. はじめに「LlamaIndex」によるRAG (検索拡張生成) のプロトタイプを作成するのは簡単ですが、それを本番用に性能と堅牢性を備えた大規模な知識コーパスに拡張するのは困難です。 この記事では、「LlamaIndex」によるRAGの性能を向上させるためのさまざまなヒントを紹介します。最終的な目標は、検索 (retrieval) と生成 (generation) の性能を最適化し、より複雑なデータセットに対するより多くのクエリに幻覚なしに正確に答えることです。 2. 本番用のRAGを構築するための考慮事項本番用のRAGを構築するための考慮事項は、次のとおりです。 ・検索用のチャンクと合成用のチャンクの分離 ・より大きな文書セット
LlamaIndex 0.7.0 の新機能｜npaka
1. LlamaIndex 0.7.0「LlamaIndex 0.7.0」では、下位レベルでモジュール性 / カスタマイズ性を改善し、データに対するLLMアプリケーションのボトムアップ開発を可能にするというテーマを継続しています。LLM、レスポンスシンセサイザー、ドキュメントとノードオブジェクトなど、主要な抽象化の使用をさらに制御できるようになりました。 ・LLM抽象化のスタンドアロン化 元はLangChainのクラスを利用していました。 ・応答合成モジュールのカスタマイズ 応答合成モジュールとプロンプトの定型文を分離して、カスタマイズしやすくました。 ・メタデータ管理機能 ドキュメント / ノードオブジェクトにメタデータ管理機能が追加されました。 2. LLM抽象化のスタンドアロン化2-1. LLM抽象化のスタンドアロン化LLM抽象化のスタンドアロン化しました。OpenAI、Huggin
プロンプトによる知識の外挿ChatGPTは大規模なテキストデータで学習されていますが、学習されていないデータに関しては知識が乏しいという問題があります。 例えば、特定の製品に対して質問できるチャットボットを作ろうとした場合、ChatGPTはその製品の情報を持っていないため、適切な回答ができません。 この問題は、ChatGPTのPromptに製品の情報を埋め込むという方法で解決できます。例えば、 「Aという製品でCという機能が使えないがなぜか。」 という質問の前に、 「Aという製品はBという機能とCという機能を持っており、Bという機能はCという機能と組み合わせることができない。」 という仕様書のテキストを結合して、 「Aという製品はBという機能とCという機能を持っており、Bという機能はCという機能と組み合わせることができない。Aという製品でCという機能が使えないがなぜか。」 というクエリにす
こんにちは、初めましての方は初めまして。株式会社 Fusic で機械学習エンジニアをしている瓦です。最近は花粉との戦いで連日連夜盛り上がっています。 前回、LlamaIndex で ChatGPT に専門知識を組み込んでみた でローカルのデータに基づいて ChatGPT を使用する方法を紹介しました。ChatGPT には存在しないローカルのデータに基づいて文を生成出来ていましたが、LlamaIndex では裏でどのようにローカルのデータを使用しているのでしょうか？ この記事では、LlamaIndex がどのように動いているのかを探っていきたいと思います[1]。 作成されたインデックスの確認 とりあえず、LlamaIndex で生成されるインデックスについて見ていきましょう。簡単のために、「今日の晩御飯はハンバーグ！」とだけ書いたテキストファイルを用意し、LlamaIndex を使用してみま
LlamaIndexとは LlamaIndex (旧GPTIndex) は、LLM(大規模言語モデル)と外部データの間を中継してくれるOSSです。公式ドキュメントによると以下のような機能を持ち合わせており、ざっくりというと既存のデータに対してインデックスを予め張る事でプロンプトがより適切な回答をしてくれるようになる仕組みを提供してくれます。 LlamaIndex機能 様々なデータ形式(API、PDF、ドキュメント、SQL など)の既存のデータソースへのコネクタを提供 非構造化データと構造化データのインデックスを提供 ユーザーがプロンプトを入力すると、その情報に関するデータを補強した出力を取得するためのインターフェイスを提供 コストパフォーマンスのバランスを考慮した便利なツールセットを提供 ローダー LlamaIndexはその機能の説明にあった通り独自データへのデータコネクタを提供しており、
ChatGPTのAPIを使っていて、独自の情報を学習させて回答をさせたい場合がある。 Llamaindexを使って試してみる。 環境準備 % pip3 install llama-index % pip3 install transformers % export OPENAI_API_KEY="sk-xxxxxxx" % export TOKENIZERS_PARALLELISM="false" OPENAI_API_KEY に自分のAPIキーを指定しておく。 データ準備 dataディレクトリにIndexさせたい情報を準備する。 今回は下記のホームページの情報をテキストデータで保存した。 https://www.town.ibaraki-sakai.lg.jp/page/page002440.html 複数のファイルをdataディレクトリに置くことが可能。 各ファイルを10kb程度の意味
Google Colab で Japanese StableLM Alpha + LlamaIndex の QA を試す｜npaka
「Google Colab」で「Japanese StableLM Alpha + LlamaIndex」の QA を試したのでまとめました。 【注意】Google Colab Pro/Pro+ のA100で動作確認しています。 1. 使用モデル今回は、「japanese-stablelm-instruct-alpha-7b」(8bit量子化)と埋め込みモデル「multilingual-e5-large」を使います。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install llama-index !pip install transformers accelerate bit
以下の記事が面白かったので、軽くまとめました。 ・LlamaIndex - High-Level Concepts 1. はじめに「LlamaIndex」は、カスタムデータを使用してLLMを利用したアプリケーション (Q&A、チャットボット、エージェントなど) を構築するためのパッケージです。 この記事では、次の事柄を紹介します。 ・LLMとカスタムデータを組み合わせるための「RAG」(Retrieval Augmented Generation) パラダイム ・独自のRAGパイプラインを構成するためのLlamaIndexの主な概念とモジュール 2. RAG (Retrieval Augmented Generation)「RAG」(Retrieval Augmented Generation : 検索拡張生成) は、カスタムデータでLLMを拡張するためのパラダイムです。 通常、次の2段階
[ChatGPT]LlamaIndexのクエリはどれくらいの時間がかかる？ 計測してみた | DevelopersIO
吉川@広島です。 Llama Index（GPT Index）にDevelopersIOの記事を100件読み込ませて質問してみた | DevelopersIO Llama Index+ChatGPTを使うとオリジナルな知識を持ったチャットボットを作れるなどの夢が広がるわけですが、そうすると次はどれくらいの時間でレスポンスを返してくれるのかが気になってきます。 そこでLlama Indexでクエリを投げると結果出力までにどれくらいの時間を要するのか調べてみました。 試してみた 計測方法 【Python】処理にかかる時間を計測して表示 - Qiita こちらを参考に start = time.time() # 処理 elapsed_time = time.time() - start で処理を囲んで経過時間を出力してみます。 質問内容 CDK for TerraformでGitHub Prov
実質7行でLlamaindex を用いた社内文書の ChatGPT QA ツールを作る - Qiita
ChatGPTは有用ですが、知っている情報が古いという問題があります。また、社内の独自データは当然ですが学習されておらず、回答に含めることができません。この解決策として、外部データをChatGPTに追加する方法に、以下があります。 1️⃣ Fine-tuning（ファインチューニング） モデル自体にデータを与えて再学習させる方法です。高い回答精度を持ちますが、現在はGPT3を使用し、API利用料も高めです。 2️⃣ In-Context Learning（インコンテキストラーニング） チャット文脈に情報を付与して回答を生成する手法です。gpt-3.5-turboを使えば簡単に実装できます。 今回は、社内文書を活用したChatGPTベースのQAツールです。Llamaindexを活用し、Python数行で動かしてみましょう。 SDKをインストール💻🔌
LlamaIndex の 評価機能 を試す｜npaka
「LlamaIndex」の「評価」の機能を試したのでまとめました。 ・LlamaIndex 0.10.26 1. LlamaIndexの評価RAGアプリケーションの性能を向上させるには、その性能を「評価」する必要があります。 ・Retrieval Evaluation (取得評価) ベクトルストアから取得するコンテキスト (チャンク) の品質を評価します。 具体的には、リトリーバーで期待するコンテキストを取得できるかどうかを測定します。 ・Response Evaluation (応答評価) クエリエンジンが生成する応答の品質を評価します。 具体的には、応答が取得したコンテキストの情報と一致するかどうか (幻覚がないかどうか) を測定します。 3. 質問応答Google Colabでの質問応答の実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール
LlamaIndex のハイブリッド検索を試す｜npaka
「LlamaIndex」の「ハイブリッド検索」を試したので、まとめました。 1. ハイブリッド検索情報検索では、文書全体を対象にした「粗 (Sparse) な検索」と、特定のキーワードに焦点を当てた「密 (Dense) な検索」の2つの手法があります。粗な検索は広い範囲の情報をカバーすることができますが、必要な情報が見つけにくいことがあります。一方、密な検索は、キーワードに関連する情報を重点的に収集することができますが、情報が不十分であることがあります。 粗と密の「ハイブリッド」検索では、両方の手法を組み合わせることで、広範囲かつ重点的に検索を行うことができます。 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開く。 (2) パッケージのインストール。 ハイブリッド検索には「Pinecone」が必要なので、「pin
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
LlamaIndex v0.6 クイックスタートガイド｜npaka
実用的なLLMアプリケーションを作るための大規模アップデート 「LangChain 0.1」「LlamaIndex 0.10」になって変わったこと
ChatGPTとLlamaIndex（GPT Index）を使った仕様問い合わせAIの作成
LangChainの使い方 LlamaIndex編 - Qiita
LlamaIndex v0.5 クイックスタートガイド｜npaka
LlamaIndex - LlamaIndex
LlamaIndex, Data Framework for LLM Applications
LlamaIndex の マルチモーダルRAG のしくみ｜npaka
LlamaIndex v0.8 クイックスタートガイド - Python版｜npaka
LlamaIndex で ChatGPT API を試す｜npaka
LlamaIndexの性能向上のためのテクニックガイド｜npaka
LlamaIndex : ChatGPTで独自のデータに対して質問するためのフレームワーク
LlamaIndex で ChatGPT に専門知識を組み込む裏側
LlamaIndexのCSVローダーを使って独自CSV情報に関する質問をしてみた - Qiita
ChatGPTにLlamaindexを使って独自情報を回答させる - Qiita
LlamaIndex v0.7 のしくみとカスタマイズ｜npaka
dojozan.com
qiita.com/syunki_tacase
fan.hatenablog.jp
ayuichi27.blog.fc2.com
qiita.com/ryo_grid
qiita.com/duelist2020jp