「LangChainソースコードリーディング／テーマ：OpenAI Chat APIを『ちゃんと』使う」は、LangChainでOpenAI Chat APIを「ちゃんと」使うことをテーマとして、ソースコードリーディングを実施する勉強会です。ここで大嶋勇樹氏が登壇。続いて、Memory機能がChat APIをちゃんと使っているかを実際のソースコードから確認します。 LangChainにはなぜMemoryという機能があるのか大嶋勇樹氏：続いて、OpenAI Chat APIを「ちゃんと」使うには、ということをもう少しやっていこうと思います。 ここではLangChainのMemory機能を扱おうと思いますが、LangChainにはMemoryという機能があります。なぜそんな機能があるのかの背景からいきます。 そもそも、LangChainなしのOpenAIのAPIというものは、前回のやり取りを覚
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
大嶋氏の自己紹介大嶋勇樹氏：では、「プロンプトエンジニアリングから始めるLangChain入門」ということで始めます。 最初に私の自己紹介ですが、名前は大嶋勇樹と申します。最近はよく「しま」さんとか、そんなふうに呼ばれています。キャリアは、都内のIT企業に新卒で就職して、そこからフリーランスエンジニアを経て、今は会社を設立していろいろやっています。最近は実務に就き始めのエンジニアのスキルアップのサポートということで、研修や勉強会の開催、Udemy講座の作成をやっていたりします。 今日は実務に就き始めとかはあまり関係ないテーマですが、データ分析や機械学習に関連する業務経験だと、AWSでデータ分析基盤みたいなものを作ったり、DockerやKubernetesを使って機械学習アプリケーションの基盤を作ったりしています。 LangChainのキャッチアップはプロンプトエンジニアリングから学ぶとスム
LangGraphの基本的な使い方
この記事の概要 こんにちは。PharmaX でエンジニアをしている諸岡（@hakoten）です。 この記事では、大規模言語モデル（LLM）を活用したアプリケーションの開発を支援するフレームワークであるLangChain内にあるツールチェインの一つ、LangGraphについてご紹介します。 LangChainがどのようなものかについて知りたい方は、ぜひ一読していただけると幸いです。 ※ LangGraphは、LangChainとシームレスに連携できるライブラリですが、この記事ではLangGraph自体の入門内容に焦点を当てており、LangChainについては詳しく触れませんので、ご了承ください。 LangGraphとは LangGraphは、LangChainのツール群に含まれる一つで、各LLMエージェントのステップなどをグラフ化して状態管理を行うためのツールです。 LangGraphは、ス
ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が向上し、多くの注目を集めています。とくにRAG（Retrieval Augmented Generation）と呼ばれる手法を使って、手元のデータを生成時に活用する手法がよく使われていますが、その性能を改善する方法は様々あります。その中でも、この記事ではRAG内部の検索性能を改善するためのクエリ変換に着目し、HyDEと呼ばれる手法の効果を日本語の検索用データセットを使って検証した結果を示します。 記事の構成は以下のとおりです。 HyDEとは 実験設定 実験結果 実装の詳細 参考資料 HyDEとは HyDE（Hypothetical Document Embeddings：仮の文書の埋め込み）は、入力されたクエリに対して仮の文書を生成し、その文書を埋め込み、検索に使用する手法です[1]。典型的な文書検索では、ユーザーが入力したク
「脱ブラックボックス化！LLMと一緒に使われるLangChainやLlamaIndexを徹底解説」というタイトルでDevelopersIO 2023に登壇しました #devio2023 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。 先日開催された DevelopersIO 2023 のチョークトークで登壇いたしました。 その際の資料と概要を共有いたします。 資料 登壇資料は以下となります。 概要のご紹介 以下の内容をご紹介しました。 OpenAI APIの話 APIの詳細な使い方 トークンとは何か Function callingの詳細 LangChainの概要 基本的なChain（LLMChain、SequentialChain） 応用的なChain（LLMRouterChain、SQLDatabaseChain、ConversationChain、RetrievalQA） Memoryの種類 Agentの種類 LlamaIndexの概要と仕組み LangChainとの違い、内部的な仕組み カス
LangChainとは？各モジュールの機能と活用事例まとめはじめに LangChainと呼ばれPythonライブラリをご存じでしょうか。 OpenAIのAPIなど、LLMを用いたアプリケーションは学習時点のデータを用いて回答するため、最新情報が求められるケースでは使い勝手が悪いです。 そこで登場したのがLangChain。 LangChainを用いれば、最新情報を考慮したチャットアプリが作成可能です。その他にも開発をサポートする様々な機能がLangChainには備わっています。 今回はLLMアプリケーション開発によく用いられる LangChainを導入するメリットや各種機能（モジュール） について紹介します。 LangChainとは何か LangChainとは、GPT-3 のような大規模言語モデル（Large Language Model: LLM）を用いたサービス開発時に役立つライブ
LLMに表データの解析を手伝ってもらえるLangChainのPandas Dataframe Agentの中身がどうなっているのか調べた - まったり勉強ノート
最近、LLMを使ったOSSの中身を調べてLLMとどう連携して目的を達成しているのかをいろいろ調べています。今回はLangChainのPandas Dataframe Agentの中身がどうなっているのか気になったので調べたまとめになります。 今回のコードは以下のところにあるので、全体としてどうなっているのか見たい方はこちらをご覧ください。 https://github.com/shu65/langchain_examples/blob/main/LangChain_Pandas_Dataframe_Agent.ipynb LangChainのPandas Dataframe Agentとは LLMを使いやすくwrapしてくれるLangChainにはいくつかAgentというLLMとToolと呼ばれるものを組み合わせて実行する仕組みが用意されています。この中でもPandas Dataframe
langchainのアップデートで追加された"Contextual Compression Retriever"を使用して,200ページ超のwebページを読みこませたQ&Aボットを作成する - Qiita
UnstructuredURLLoaderでホームページの内容を読みこみ、textsplitterで適切なサイズにテキストを分割します。 その後、OpenAIEmbeddingsを使用して、埋め込みを作成します。 その埋め込みをEmbeddingsFilterを用いてフィルタリングします。 (EmbeddingsFilter Making an extra LLM call over each retrieved document is expensive and slow. The EmbeddingsFilter provides a cheaper and faster option by embedding the documents and query and only returning those documents which have sufficiently simil
こんにちは、Communeでデータサイエンティストをしているひぐです。 最近、LLMと周辺エコシステムの発展により、自律性と意思決定能力を持った"AIエージェント"の実現が現実味を帯びてきました。 例えば先日、sakana ai社から、AIが自律的にアイディアを複数案だして、実験内容を決定し、コードを修正した上で実験を回し、論文を書くようなシステムが発表されました。 AIエージェントは上手く組めば複雑なタスクを自律的に処理できるため、これまで規模が小さかったり、収益性が見込めなかった市場でも、人が介在せず、従来実現できなかった効率や少ないコストでタスクを完遂できるようになります。 つまり市場を新たに創出できる可能性があり、ビジネス観点でも非常に興味深い技術といえるでしょう。 一方で、AIエージェントの実装には、遅くて高コストで不安定なAPIを複雑につなぎ込む技術的な難しさや、開発エコシステ
LCEL (LangChain Expression Language）完全に理解した - Amazon Bedrock APIで始めるLLM超入門⑨ - Qiita
LCELからBedrockを呼び出してみます。 LCELとは LangChainでコンポーネントをchain（連続呼出）する共通のInterfaceおよびその記法です。 Interfaceは以下のページが分かり易かったですが、要はRunnable共通のメソッドを実装しているというのと、入出力の型はコンポーネント毎に異なる（chainを組む時に入出力の型を意識して合わせる必要がある）というのが理解のポイントかなと思いました。 使い方は公式のクックブックがわりと分かりやすいです。 LangChainの最新化 langchainとlangchain-communityを最新にします。安定バージョンになったという話を信じてバージョンを指定せずに入れてみます。
本記事は 2022年度 新人卒業記念Week 2日目の記事です。 🌸 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに LangChainについて LangChainの機能 LLMs Prompt Template Document LoadersとIndexes Chains Agent まとめ はじめに こんにちは。新人の堤です。この1年はAWSを中心としたサービスの開発や運用を行っていました。最近はChatGPTなどのLLMを使って遊ぶのにはまってます。 今回は最近自分が色々試しているLangChainというライブラリについてご紹介したいと思います！ LangChainについて LangChainとはChatGPTなどの大規模言語モデル(LLM)を使ったサービスの開発を支援するためのライブラリです。LangChainを使用することで、LLM単独ではできないような他の計算や知識のソ
ChatGPT風の画面を表示できるChatbot UIをFastAPIで作成した自作LangChainサーバに接続させる方法｜mah_lab / 西見 公宏
ChatGPT風の画面を表示するOSSがいくつか出てきている中で、コードの読みやすさと操作性を比較した上でオススメしたいのが、Next.jsで書かれているChatbot UIというOSSだ。 ローカルでサクッと起動ができ、立ち上がるとこんな画面が表示される。 ChatGPTの画面とうり二つOpenAIのAPI Keyを入力すれば簡単にOpenAIのチャットモデルと接続される。API接続のChatGPTなので、本家のChatGPTよりはやりとりできる文字量が制限されるものの、本家のChatGPTではセンシティブな情報を扱うことができないため、API接続のUIにも価値はある。 ところでこのChatbot UI、ソースコードを読んでみると環境変数でAPI接続先を差し替えることができるようになっている。process.env.OPENAI_API_HOSTの部分だ。 utils/app/const
生成AI新年会2024 LT資料 LangGraphで始めるマルチエージェントシステム
In LangChain for LLM Application Development, you will gain essential skills in expanding the use cases and capabilities of language models in application development using the LangChain framework. In this course you will learn and get experience with the following topics: Models, Prompts and Parsers: calling LLMs, providing prompts and parsing the response Memories for LLMs: memories to store con
ChatGPTとLangChainを活用してデータ分析アプリを作ってみた - Platinum Data Blog by BrainPad ブレインパッド
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、ChatGPTとLLMを使って、プログラミングの知識なしでデータ分析（前処理、可視化、学習、検証）を行えるツールアプリケーションを構築してみたので、その内容をご紹介します。 こんにちは、私たちはアナリティクスサービス部の田中、林です。今回はLangChainとChatGPTを使ったアプリケーションを作成してみたのでその内容について説明します。データ分析を進めたい、進めないといけない人たちが、プログラミングの知識なしでデータ分析（前処理、可視化、学習、検証
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.16 【最新版の情報は以下で紹介】 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケー
GPTをドーピングする LangChain 基礎編
概要 LLM(大規模言語モデル)の統合的なライブラリである、LangChain の基本的な使い方についての解説記事です。 LangChain は、Microsoft が提供する Visual ChatGPTなどにも、内部的に使用されており、今後のLLMを使用したアプリケーション開発のデファクトスタンダードになり得るライブラリです。 LangChain は現在、Python と TypeScript(JavaScript) の環境でのみ使用可能であり、本記事は TypeScript での解説になります。 ただ、Pythonでの実装方法も殆ど変わらないため、Pythonでの実装を考えてる方にも参考程度にはなるかと思います。 この記事を読むとわかること LangChain とは LangChain の基本機能 LangChain の使い方 LLMs の使い方 Template の使い方 Memo
「LangChain」のGUI版である「LangFlow」を試したので、まとめました。 ・macOS 13.2.1 ・Python 3.9.14 1. LangFlow「LangFlow」は「LangChain」のGUI版です。「react-flow」で設計されており、ドラッグ&ドロップできる「コンポーネント」と「チャット ボックス」を使用して、プロンプトチェーンのフローを簡単に実行できます。 2. インストール方法インストール方法は、次のとおりです。 (1) Pythonの仮想環境の準備。 今回は、Python 3.9.4の仮想環境を準備しました。 (2) パッケージのインストール。 $ pip install langflow(3) 実行。 $ langflowUvicorn running on http://127.0.0.1:5003(4) 表示されたURLをブラウザで開く。 3
LLMの要約結果を評価する
この記事は Magic Moment Advent Calendar 2024 7 日目の記事です。 Magic Moment の @tdoi です。 2024年1月にジョインし、Magic Moment の製品開発を担当しております。 学生時代に、マルチエージェントシステムに関する研究に従事していました。 昨今、LLM の躍進によって、エージェントという言葉を見聞きすることが増えて少しそわそわしています。 はじめに GPT を始めとする LLM の性能の向上は著しく、ここ1、2年は、LLM をいかに活用するかを検討されてきた方も多いのではないでしょうか？ LLM の出力が期待以上であって驚くことも多い一方で、出力が不適切であることもあります。 対話的に利用している際はその出力を確認し、適切な判断のもとで活用すればよいのですが、 システムに組み込んで利用する際には、その出力結果の妥当性には
LangChain
LangChain’s suite of products supports developers along each step of the LLM application lifecycle.
Hugging FaceのモデルをLangChainで使う方法を調べた - まったり勉強ノート
今回はLangChainの小ネタの記事でHugging FaceのモデルをLangChainで扱う方法について調べたので、その記事になります。 LangChainについてご存じないという方のために一言で説明するとLangChainはChatGPTの内部で使われているLLMを扱いやすい形でwarpしたライブラリになります。紹介記事を以前書きましたので、詳しく知りたい方はこちらをご覧ください。 LangChainのexampleを見ると多くの場合OpenAIのAPIを使うことが多いように感じます。ただ、OpenAIのモデルは精度が良いのですが、一方で長文の生成をしようとするとかなりの額のお金が必要になります。このため、遊びで使うには勇気がいるケースがあります。 このため、懐に優しい形でLangChainを扱えないか？ということで、有名どころのモデルが大体おいてあるHugging Faceを利用
Langchain・Semantic Kernel・guidanceでエージェント機能を実装して比較してみた。 - Qiita
実装する処理 各ライブラリでエージェントの機能を実装し、色々と比較してみました。 ~前提条件~ 紫の対話可能なエージェントとユーザの対話により、ざっくりとした実行計画が既に作成済みのものとします。 そのため、青色のエージェントの処理(⑤)を「guidance・Semantic kernel・Langchain」で実装します。 今回、青色のエージェントには以下の3つの機能を持たせています。 Search: 社内資料の検索を想定した関数 Web: Web検索で外部情報を取得することを想定した関数 Answer: search, webで収集した情報とユーザの入力を基に回答を生成する関数 紫の対話可能なエージェントではユーザとの対話により、実行計画のベースを作ります。 こちらについてはまた別の記事でまとめようと思います。 最終的に以下のような出力が得られます。 この出力を青色のエージェントに渡し
前回に引き続きGenerative Agentsです。今回はこちらのドキュメントの内容を中心に見ていきます。 GenerativeAgentクラスの概要この実装で中心的な役割を果たしているのがGenerativeAgentクラスです。 class GenerativeAgent(BaseModel): """A character with memory and innate characteristics."""このクラスは以下のパラメータを持っており、これがキャラクターの振る舞いや言動に影響を与えます。 name (str)： キャラクターの名前。 age (int)： キャラクターの年齢。 traits (str)： キャラクターの固有の特徴。「anxious, likes design」といった値を設定する。 status (str)： キャラクターの現在の状態。 reflecti
中の人がどうなってるのか、にわかに信じられませんが、またまたLangChainの新機能が発表されていました😮 今度の新機能は、「Multi Functions Agent」です。 Agentが１ステップで複数の関数呼び出しをするという機能です。 Tools定義google検索ツール(SerpAPI)を tools に登録します。 llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613") search = SerpAPIWrapper() # Define a list of tools offered by the agent tools = [ Tool( name="Search", func=search.run, description="Useful when you need to answer questions
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 各手法の説明を読む前に、「これだけは知っとけ用語」を読んでおくと意味がわかります。知っている人は飛ばしてください。 これだけは知っとけ用語 Retriever LLMの入力として含められる情報には上限があります。GPT-3.5で4k トークン。GPT-4でも、8K, 32Kトークンです。十分大きくなったとはいえ、本一冊分とかは無理なわけです。これ
ChatGPTみたいなアプリが簡単に作れるLangChainがすごすぎ - まったり勉強ノート
3月 28, 2023 / 最終更新日時 : 3月 28, 2023 Shuji Suzuki (shu) プログラミング 最近話題のChatGPT界隈ですが、そんなChatGPTみたいなアプリを簡単に作れるとしたら？そんな夢のようなライブラリである「LangChain」をこの前同僚に教えてもらったので、実際に使ってみました。 実際に使ってみたら想像よりもはるかに「どうなってるの！？」と思うことが多々あるすごいライブラリだったので、紹介したくて使い方をまとめてみました。 今回はLangChainのドキュメントの中で一番衝撃だった以下の質問に対する答えを出すコードをGoogle Colabで実行する手順を示します。 "Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?" コード
Llama Hub
Our integrations include utilities such as Data Loaders, Agent Tools, Llama Packs, and Llama Datasets. We make it extremely easy to connect large language models to a large variety of knowledge & data sources. Use these utilities with a framework of your choice such as LlamaIndex, LangChain, and more. Learn More
GitHub - e2b-dev/awesome-ai-agents: A list of AI autonomous agents
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - chroma-core/chroma: the AI-native open-source embedding database
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
話題の ChatGPT + LangChain で ChatGPT が学習していない最新の OSS ソースコードを爆速でウォークスルーする - Qiita
はじめに ソースコードの解読には、高度な技能や時間が必要です。しかし、ChatGPT を使えば、ソースコードの解読を迅速に行うことができます。 ChatGPT は、OpenAI が開発した言語モデルの一つであり、大量の自然言語のコーパスを学習しています。そのため、一定期間内の OSS のソースコードを解析する際には、最新の知識を反映させることができません。しかし、LangChain を使用することで、最新の OSS のソースコードに対しても問い合わせを行うことができます。 この記事では、ChatGPT と LangChain を用いて、最新の OSS ソースコードのウォークスルーを行う方法について紹介します。 ChatGPT に最新の OSS ソースコードを解析させるには？ LangChain は、外部のベクターストアを使用して、ソースコードに含まれるテキストデータの意味的な関連性を Ch
はじめに 株式会社スマートショッピングで SRE をしているbiosugar0です。 先日、2023 年 10 月 23 日に行われた Amazon Bedrock Prototyping Camp というイベントに参加してきました。 そこでは Bedrock の紹介から始まり、Claude のハンズオン、実際にプロダクト反映を目指したプロトタイピングを行うという内容でした。 今回はその中で検証、実装した社内用の Slack bot に弊社ヘルプページを参照させる事例を紹介します。 Retrieval Augmented Generation (RAG) Retrieval Augmented Generation (RAG)は、LLM を用いた処理において、外部のデータベースや文書と連携してより精度の高い回答を生成するためのテクニックです。 GPT-4 のような LLM は、学習に使用さ
GitHub - langflow-ai/langflow: Langflow is a powerful tool for building and deploying AI-powered agents and workflows.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
チャットAIの開発入門書「OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門」、ボーンデジタルが発売｜ゲームメーカーズ
ボーンデジタルがチャットAIを開発するための入門書「OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門」を発売 チャットAIの仕組みから独自システムへの組み込み方まで解説 サンプルのほとんどは「Google Colaboratory」で実行できる ボーンデジタルは2023年7月2日、チャットAIの開発入門書「OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門」を発売しました。今回発売されたものは書籍版で、PDF版は6月23日にすでに発売されています。 ★緊急先行発売★ PDFダウンロード版 OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門https://t.co/Leg747E4nV 6/23～6/30まで1週間限定で「5章 LlamaIndex」の全文PDFを公
LLM連携アプリの開発を支援するライブラリ LangChain の使い方 (1) - LLMとプロンプト・チェーン｜npaka
「LangChain」の「LLMとプロンプト」「チェーン」の使い方をまとめました。 1. LangChain「LangChain」は、「LLM」 (Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。本当の力は、それを他の計算や知識と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 2. LangChainの支援領域「LangChain」の支援領域は、次の5つがあります。 (1) LLM とプロンプト (2) チェーン (3) データ拡張生成 (4) エージェント (5) メモリ (6) 評価 (BE
Langchain, GPT-3.5-turbo, Google Search API を使って、ChatGPT相当のエンジンにGoogle 検索を読み込ませ、日本語で回答を得ることに成功しました。これは一般公開される、いわゆるコンシューマー向けのサービスとしては便利ですが、逆に ChatGPT や Bing と同様に、一般的になってしまいます（検索するドメインを絞ることはできますが）。 業務でチャットボットを使う場合にはどちらかというと、自社の知見に特化したチャットボットが欲しいと思うのではないでしょうか。顧客向けにしろ、自社向けにしろ、どこの誰が書いたか分からない一般的な答えを出しても、顧客価値につながりませんからね。 ということで、LangchainとGPT-3.5-turbo API, それから OpenAPI のEmbedding API を使って、ドキュメントを埋め込んだQ&A
LLMs are trained on a large but fixed corpus of data, limiting their ability to reason about private or recent information. Fine-tuning is one way to mitigate this, but is often not well-suited for facutal recall and can be costly. Retrieval augmented generation (RAG) has emerged as a popular and powerful mechanism to expand an LLM's knowledge base, using documents retrieved from an external data
はじめに ChatGPTを初めとした大規模言語モデル (LLM) が話題になっており、ちょっとした質問でも非常に優れたアウトプットが得られるようになりました。一方、ChatGPTを企業で使用する場合、社内情報をChatGPTは保持していないため、社内情報について答えられないという課題があり、社内特化LLMシステムを構築する必要があります。 特化システムを作るためには、こちらの記事でも紹介している通りLLMそのものをfine tuningする方法と、LangChainを使ってVector MatchingするRetrieval Augmented Generation (RAG) の2つがあります。ただ、LLMのfine tuningは非常に大きな計算コストとデータセット構築作業が必要になります。 本記事では、RAGによる特化LLMシステムの構築方法を紹介します。本記事内で使用するLLMはG
2.1. LlamaIndexで加工するデータの作り方 LlamaIndexで構造化データに加工できるデータは基本、プレーンテキストです。テキストファイルを用意して所定のフォルダに置けばよいだけです。 以前は日本語テキストの書き方に癖がありましたが、llama-index==0.6.8の時点ではUTF-8エンコードにすること以外に特段気にするべきことはありません。 では、実際にLlamaIndexで加工するテキストを用意してみましょう。今回は、日本語版Wikipediaの秀逸な記事に含まれている、「関門トンネル (山陽本線)」の冒頭を一部編集したものとします。 関門トンネル（かんもんトンネル）は、関門海峡をくぐって本州と九州を結ぶ、鉄道用の海底トンネルである。九州旅客鉄道（JR九州）の山陽本線下関駅 - 門司駅間に所在する。単線トンネル2本で構成され、下り線トンネルは全長3,614.04メ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChainの「Chain」や「Agent」を使う時は注意が必要 「Chat APIの形式を活かした実装かどうか」の確認方法 | ログミーBusiness
プロンプトエンジニアリングから始めるLangChain入門講座 大嶋勇樹氏が教える、OpenAIのモデルとAPIの使い方 | ログミーBusiness
LangChainを使ってHyDEによるクエリ変換の効果を検証する - Ahogrammer
LangChainとは？各モジュールの機能と活用事例まとめ | Hakky Handbook
AIエージェントのビジネスインパクトとLangChain、LangGraphを使った実装例
ChatGPTの機能を拡張するLangChainを試してみた - NRIネットコムBlog
LangGraphで始めるマルチエージェントシステム
LangChain for LLM Application Development
LangChain v0.1 クイックスタートガイド - Python版｜npaka
LangChainのGUI版であるLangFlowを試す｜npaka
【後編】LangChainによるGenerative Agents実装まとめ｜mah_lab / 西見 公宏
LangChainまたまた新機能: OpenAI Multi Functions Agent｜はまち
はじめに｜サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】
【GPT】今日から使えるOSSライブラリまとめ - Qiita
Slack Botによるヘルプページの情報参照:LLMを組み合わせたRAGの実装
【Langchain】EmbeddingでChatGPTに自分専用Q&Aをしてもらう方法
GitHub - langchain-ai/rag-from-scratch
実践LangChain！RAGによる特化LLMシステムの作り方 - Qiita
LangChainの使い方 LlamaIndex編 - Qiita
www.lifehacker.jp
www.itmedia.co.jp
writers.coverfly.com
ai10.ht.gob.jp
www.cattrans.com
www.nhk.or.jp