LangChain Advent Calendar 2023 の 2 日目の記事です。 LangChain Expression Language (LCEL) とは LangChain Expression Language (LCEL) は、LangChain でのコードの新しい記述方法です。 公式ドキュメント: https://python.langchain.com/docs/expression_language/ LCEL ではプロンプトや LLM を | で繋げて書き、処理の連鎖 (Chain) を実装します。 2023 年 10 月後半頃から、LangChain では LCEL を使う実装が標準的となっています。 この記事では LCEL の基本的な使い方を紹介していきます。
Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。 | DevelopersIO
Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。 Buildで発表され、注目されていた Model Catalogと Prompt Flowが2023年7月6日(JST)から使えるようになっていました。 ※ まだ、Previewなので、今後仕様などが変更する可能性があります。 この記事ではPrompt Flowの紹介です。 Model Catalogはこちら Azure Machine LearningでModel Catalogが使えるようになりました。 どちらの機能も、Azure Machine Learning Studioから使うことができます。 Prompt Flowとは Prompt flow is a powerful feature within Azure Machine Learning (A
OSSベクトルDBのChromaを使ってQ&AボットをLangChainで作成する｜mah_lab / 西見 公宏
新興で勢いのあるベクトルDBにChromaというOSSがあり、オンメモリのベクトルDBとして気軽に試せます。 LangChainやLlamaIndexとのインテグレーションがウリのOSSですが、今回は単純にベクトルDBとして使う感じで試してみました。 データをChromaに登録する今回はLangChainのドキュメントをChromaに登録し、LangChainのQ&Aができるようなボットを作成しようと思います。 しかしLangChainのドキュメントはほとんどがJupyter Notebook形式なので、ベクトルDBへ取り込みやすいようにフラットテキストにしてあげる必要があります。 以下の関数はJupyter Notebook形式（JSON）のファイルを分解してMarkdown形式に変換し、その後Unstructured.ioのMarkdownスプリッタを利用してコンテンツをチャンクに分割
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 | DevelopersIO
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 はじめに 新規事業統括部Passregiチームの山本です。 3/16にLangChainのサイトで、Zapier Natural Language Actions（以下Zapier NLA）との連携についての記事がありました。 https://blog.langchain.dev/langchain-zapier-nla/ 今回は、このページを参考に、簡単な解説や考えたこと、実際に動かしてみた様子について記載しようと思います。 (補足) Zapierについて Zapierは世の中の多数あるサービス（GmailやSlackなど）の操作を自動化できるサービス（SaaS自動化サービス）です。設定はWeb画面でノ
LLM を組み込んだチャットアプリケーションを写経しながら実装できる「ChatGPT/LangChain によるチャットシステム構築［実践］入門」を読んだ - kakakakakku blog
2023年10月18日に出版される新著「ChatGPT/LangChain によるチャットシステム構築［実践］入門」を読んだ & 写経した📕 読者層的には「ChatGPT って最近よく聞くしたまーに使うこともあるけど LangChain って何なのー？」という人や「LLM (Large Language Model) をアプリケーションに組み込むなんて考えたこともなかったけどできるのー？」と感じるような人に特におすすめできるかなーと💡本書を読みながら写経すると，難しいことは考えずに ChatGPT のように LLM を組み込んだアプリケーションをあっという間に構築できてしまって，とにかくワクワクして楽しめる一冊だった❗️ ChatGPT/LangChainによるチャットシステム構築［実践］入門 作者:吉田 真吾,大嶋 勇樹技術評論社Amazon 著者の一人 id:yoshidashin
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
『OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門』 が発売になります。｜npaka
この本は、「GPT-4」「ChatGPT」「LangChain」を活用して「チャットAI」を開発するための入門書です。 対象読者は、 ・チャットAIのしくみを知りたい人 ・チャットAIに知識や計算の能力を与えて仕事を自動化したい人 ・会話ロボットやAITuberなどの会話エンジンとして使いたい人 ・自分のアプリケーションにチャットUIを組み込みたい人 になります。 「ChatGPT」は、OpenAIが開発した最新のチャットAIです。ログインして会話を入力するだけで使える手軽さはもちろん、人間のような自然な会話ができることから世界中で人気となり、2022年11月にリリースされてからわずか2ヶ月で1億人のアクティブユーザー数を達成しました。同年にリリースされた画像生成AI「Stable Diffusion」とともに、研究者や専門家ではない一般の人が人工知能を活用しはじめる、ターニングポイントと
まずは環境準備をしよう｜つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
大規模言語モデルなどを抽象化し、生成AIアプリの開発を容易にする「LangChain」が初の安定版に到達 大規模言語モデル（LLM）やチャットモデルなどを活用したアプリケーション開発のためのフレームワーク「LangChain」が、初めての安定版となる「LangChain v0.1.0」に到達したことが発表されました。 LangChain v0.1.0 After a year of development, we've released LangChain v0.1.0 Read the full blog here: https://t.co/DDh7xZfO3p After talking with the users and developers, we released this stable version and focused the library on a few cor
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) こちらに引き続き、LangChainの解説をしていきたいと思います。 副読用Colab: 動かしながら遊びましょう。 前回のあらすじ Chatbotや言語モデルを使ったサービスを作ろうとしたときに生のOpenAI APIを使うのは以下の点でたいへん。 プロンプトの共通化や管理をすること 複数のドキュメントやWebの情報を参照して質問応答をすること 言語モデルにcsvやpdf等のプレーンテキストでないファイルを読ませること それらの処理を統括して管理すること 使い方まとめ(1)で説明したLangChainの各モジュールはこれを解決するためのものでした。 Prompt Templates : プロンプトの管理 LLMs : 言語モデルのラッパー(OpenAI::GPT-3やGPT-Jなど) Document L
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 弊社では今 LLM をプロダクトに活用しているのですが、実際にユーザに提供するクオリティのものを作る・運用しようとすると様々な課題が立ちはだかってきました。 そんな数々の課題を解くために LangSmith というツールが活躍してくれた、また今後の活用・発展にもかなり期待ができるため、本記事ではそんな LangSmith について解説していきます。 LLM を使ったプロダクト開発において課題を感じている方々の参考になれば幸いです。 出てきた課題 まず LangSmith 自体の解説に入る前に、我々が直面した・ほぼ間違いなく今後するであろう課題たちをサラッとご紹介しようと思います。 大まかには次のような課題がありました。 プロンプトがアプリケーションコード内に書か
LangChain v0.0.141 に SVM Retriever という実装が入った。これは embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの？と追っかけてみたら、知らない知識で面白かったのでメモ記事に。 kNN vs SVM この実装の元となった、knn_vs_svm.ipynbというnotebookがあって、冒頭を機械翻訳すると以下となる。 よくあるワークフローは、あるデータを埋め込みに基づいてインデックス化し、新しいクエリの埋め込みがあれば、k-Nearest Neighbor検索で最も類似した例を検索することです。例えば、大規模な論文コレクションをその抄録に基づいて埋め込み、興味のある新しい論文を与えると、その論文に最も類似した論文を検索することが想像できます。 私の経験では
書籍はこちら：https://www.amazon.co.jp/dp/4297138395 === ■なぜLangChain？ ChatGPTのAPIが公開されたころから、多くの組織が大規模言語モデル（LLM）を使ったアプリケーション開発に取り組むようになりました。 LLMを使ったアプリケーション開発で、最も注目されているフレームワークが「LangChain」です。 LangChainはLLMを使ったアプリケーション開発の幅広い分野を扱っており、論文などで発表された新しい手法も次々実装しています。 そのため、LangChainを学ぶことは、LLMを使ったアプリケーション開発の様々な工夫を学ぶことになるのです。 ■この勉強会のテーマ この勉強会では、LangChainからLLMを使ったアプリケーションの工夫の例を学んでいきます。 とくにRAG (Retrieval Augmented Gen
LangChainの用意しているプロンプトやラッパーは英語以外を意識していないことが多く、特に検索系のtoolがUSのサイトを引っ張ってくるということが多々ある。 こういったケースはtoken数に制限のあるChatGPT APIにとっては大きな問題になってくる。USのサイトが検索上位にかかってくることで得られる情報が減る上に、これを解消するために検索数を増やせばそれだけtoken数を消費するためである。当然だがtoken数の上限を超えればエラーを吐いて異常終了する。 こういった問題の多くは、LangChainのライブラリが用意しているクラスをそのまま使うことによって発生している。 またLangChainはagentの定義を行うだけで簡単に基本的な機能が使えてしまうため、agentがどのようなロジックで動いているのか理解しにくい。 本記事はLangChainを少しだけ掘り下げて、これらの問題
これはなに？ 新しくリリースされた ChatGPT (GPT-3.5 Turbo) の Fine-tuning を試してみたメモ。 ChatGPTに最新の知識や専門知識を注入できるかどうかをテストしてみた。 結局、自分が想定した動きにはできなかったので記事にして供養します🙏 tl;dr 一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning はうまく動かなかった。 OpenAIが提示している想定のユースケースとずれている利用方法なので、もう少しトライしても上手くいかないんじゃないかなと思う。 学習データに入れた質問をそのまま投げてあげると回答できることもある程度だった。(このままでは到底使えない…) 出力のトーンや言語の指示にプロンプトの文字数を大量に使っていて、それを大幅に削減したい、という時には使えそうだなという印象だった。 学習データの自動生成
高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る | Amazon Web Services
Amazon Web Services ブログ 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る 2023/05/17: DocumentExcerpt の Request quota value を 1000 から 750 に修正しました 2023/05/18: Flan-T5-XL、Flan-T5-XXL、Anthropic Claude-V1、OpenAI text-davinci-003のtypoを修正しました Amazon Bedrock や Amazon Titan を通じて間もなく利用可能になるような生成系 AI（GenAI）と大規模言語モデル（LLM）は、開発者や企業が従来行っていた自然言語処理と自然言語理解に関連する複雑な課題の解決方法を変革しています。LLM が提供するメリットには、カスタマーサービス
株式会社バンダイナムコ研究所のLaiです。LangChainで実装した恋愛シミュレーションゲーム用AIエージェントについて解説したいと思います。 TL;DR スタンフォード大学の「Generative Agent」論文のコンセプトを基に実装 恋愛シミュレーションゲームのテーマに合わせて一部の設定を調整 LangchainのGenerativeAgentクラスを中心とした実装 コンセプト 今月、スタンフォード大学とGoogleが「Generative Agents: Interactive Simulacra of Human Behavior」という論文を発表しました。この論文では、LLM (ChatGPT)をベースにした生成エージェントの構造が提案されました。これらのエージェントは、社会に関する様々な推論を行い、自身の特性や経験を反映した日々の計画を立て、その計画を実行し、反応し、適切な
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く
こんにちはChoimirai Companyのサンミンです。 0 はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。 https://mlops.connpass.com/event/279156/
pgvector、LLM、LangChain を使用して Google Cloud データベースで AI 搭載アプリを構築する | Google Cloud 公式ブログ
postgres=> CREATE TABLE embeddings( id INTEGER, embedding vector(3) ); CREATE TABLE postgres=> INSERT INTO embeddings VALUES (1, '[1, 0, -1]'), (2, '[1, 1, 1]'), (3, '[1, 1, 50]'); INSERT 0 3 pgvector の新しい類似性検索演算子pgvector 拡張機能では、ベクトルに対して類似性のマッチングを行うための新しい演算子も導入されており、意味的に似ているベクトルを見つけることができます。このような演算子には次の 2 つがあります。 ‘<->’: 2 つのベクトル間のユークリッド距離を返します。ユークリッド距離は、ベクトルの大きさが重要なアプリケーション、たとえばマッピングやナビゲーション アプリケー
本書籍を全ての章を読み思ったこと。それはこの一冊があればとりあえず入門から今抑えなければならないことは大体網羅できる。そう感じました。 ChatGPT、正確にはOpen AIとLangChain本の紹介となります。私が知るにLangChainとOpen AIを用いたチャットシステム構築の本格的な実践入門書籍としては初になるんじゃないでしょうか。 今回は、そんな書籍のレビューと実際に書籍通りチャットシステム構築をする中で感じたこと、さらなるチューニングについてをご紹介していきます。 紹介する書籍 2023年10月18日発売(書籍/電子)の「ChatGPT/LangChainによるチャットシステム構築［実践］入門」になります。 下記にリンクを貼っておきますので、興味を持たれた方はぜひチェックをお願いします 著者の紹介 本書籍なのですが、今LLM界隈でも情報のキャッチアップとアウトプットの先頭に
![ChatGPT/LangChainによるチャットシステム構築[実践]入門](https://cdn-ak-scissors.b.st-hatena.com/image/square/49cb7277641a9e60d501a46a62f9793fe12e6193/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--G8Wuq7ng--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AChatGPT%25252FLangChain%2525E3%252581%2525AB%2525E3%252582%252588%2525E3%252582%25258B%2525E3%252583%252581%2525E3%252583%2525A3%2525E3%252583%252583%2525E3%252583%252588%2525E3%252582%2525B7%2525E3%252582%2525B9%2525E3%252583%252586%2525E3%252583%2525A0%2525E6%2525A7%25258B%2525E7%2525AF%252589%25255B%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%25255D%2525E5%252585%2525A5%2525E9%252596%252580%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ayoshii0110%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzdmOTNhNWVlYjEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
検索用APIを使わずにウェブページをChatGPTに学習させる方法【Python / LangChain / FAQ】
はじめまして、ますみです！ 株式会社Galirage（ガリレージ）という「生成AIに特化して、システム開発・アドバイザリー支援・研修支援をしているIT企業」で、代表をしております^^ この記事では、「LangChain」というライブラリを使って、「ウェブサイト検索が可能なChatGPTの作り方」を解説します。 この記事を読むことで、検索APIを使わずに、ウェブ上の最新情報を取り入れたChatbotの作成が可能になります。 ChatGPTやLangChainについてまだ詳しくない方は、こちらを先にご覧ください◎
GitHub - langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2024年5月22日 #mlopsコミュニティ
2023/4/25 LLM(GPT, PaLM等) with MLOps LT大会!!! 発表資料
「LangChainソースコードリーディング／テーマ：OpenAI Chat APIを『ちゃんと』使う」は、LangChainでOpenAI Chat APIを「ちゃんと」使うことをテーマとして、ソースコードリーディングを実施する勉強会です。ここで大嶋勇樹氏が登壇。続いて、Memory機能がChat APIをちゃんと使っているかを実際のソースコードから確認します。 LangChainにはなぜMemoryという機能があるのか 大嶋勇樹氏：続いて、OpenAI Chat APIを「ちゃんと」使うには、ということをもう少しやっていこうと思います。 ここではLangChainのMemory機能を扱おうと思いますが、LangChainにはMemoryという機能があります。なぜそんな機能があるのかの背景からいきます。 そもそも、LangChainなしのOpenAIのAPIというものは、前回のやり取りを
はじめに この記事は、Google Cloud Champion Innovators Advent Calendar 2023 18日目の記事です。 機械学習エンジニアをしています、原です。Google Cloud Champion Innovators(AI/ML)として選出いただき、活動しています。Google Cloud Innovatorsは、Google Cloud開発者/技術者のためのメンバーシッププログラムです。誰でも参加可能ですので、Google Cloudユーザーの方はぜひ参加をおすすめします！ 先日、下記のような記事を公開し、Vertex AIにおけるGemini APIの概要と簡易的な実装例を紹介しました。 今回は少し実践寄りで、Vertex AIでのGemini APIとLangChainを組み合わせて、MultimodalなRAGを構築する一例を紹介します。実現
LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。まずは、LLM・OpenAIの概要と、文章生成のためのアプリケーションを開発する場合のAPIについて解説します。 大嶋氏の自己紹介 大嶋勇樹氏：では、「プロンプトエンジニアリングから始めるLangChain入門」ということで始めます。 最初に私の自己紹介ですが、名前は大嶋勇樹と申します。最近はよく「しま」さんとか、そんなふうに呼ばれています。キャリアは、都内のIT企業に新卒で就職して、そこからフリーランスエンジニアを経て、今は会社を設立していろいろやっています。最近は実務に就き始めのエンジニアのスキルアップのサポートということで、研修や勉強会の開催、Udemy講座の作成をやっていたりします
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が向上し、多くの注目を集めています。とくにRAG（Retrieval Augmented Generation）と呼ばれる手法を使って、手元のデータを生成時に活用する手法がよく使われていますが、その性能を改善する方法は様々あります。その中でも、この記事ではRAG内部の検索性能を改善するためのクエリ変換に着目し、HyDEと呼ばれる手法の効果を日本語の検索用データセットを使って検証した結果を示します。 記事の構成は以下のとおりです。 HyDEとは 実験設定 実験結果 実装の詳細 参考資料 HyDEとは HyDE（Hypothetical Document Embeddings：仮の文書の埋め込み）は、入力されたクエリに対して仮の文書を生成し、その文書を埋め込み、検索に使用する手法です[1]。典型的な文書検索では、ユーザーが入力したク
「脱ブラックボックス化！LLMと一緒に使われるLangChainやLlamaIndexを徹底解説」というタイトルでDevelopersIO 2023に登壇しました #devio2023 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。 先日開催された DevelopersIO 2023 のチョークトークで登壇いたしました。 その際の資料と概要を共有いたします。 資料 登壇資料は以下となります。 概要のご紹介 以下の内容をご紹介しました。 OpenAI APIの話 APIの詳細な使い方 トークンとは何か Function callingの詳細 LangChainの概要 基本的なChain（LLMChain、SequentialChain） 応用的なChain（LLMRouterChain、SQLDatabaseChain、ConversationChain、RetrievalQA） Memoryの種類 Agentの種類 LlamaIndexの概要と仕組み LangChainとの違い、内部的な仕組み カス
はじめに LangChainと呼ばれPythonライブラリをご存じでしょうか。 OpenAIのAPIなど、LLMを用いたアプリケーションは学習時点のデータを用いて回答するため、最新情報が求められるケースでは使い勝手が悪いです。 そこで登場したのがLangChain。 LangChainを用いれば、最新情報を考慮したチャットアプリが作成可能です。その他にも開発をサポートする様々な機能がLangChainには備わっています。 今回はLLMアプリケーション開発によく用いられる LangChainを導入するメリットや各種機能（モジュール） について紹介します。 LangChainとは何か LangChainとは、GPT-3 のような大規模言語モデル（Large Language Model: LLM）を用いたサービス開発時に役立つライブラリです。 LangChainを用いると、他のシステムと統
LLMに表データの解析を手伝ってもらえるLangChainのPandas Dataframe Agentの中身がどうなっているのか調べた - まったり勉強ノート
最近、LLMを使ったOSSの中身を調べてLLMとどう連携して目的を達成しているのかをいろいろ調べています。今回はLangChainのPandas Dataframe Agentの中身がどうなっているのか気になったので調べたまとめになります。 今回のコードは以下のところにあるので、全体としてどうなっているのか見たい方はこちらをご覧ください。 https://github.com/shu65/langchain_examples/blob/main/LangChain_Pandas_Dataframe_Agent.ipynb LangChainのPandas Dataframe Agentとは LLMを使いやすくwrapしてくれるLangChainにはいくつかAgentというLLMとToolと呼ばれるものを組み合わせて実行する仕組みが用意されています。この中でもPandas Dataframe
langchainのアップデートで追加された"Contextual Compression Retriever"を使用して,200ページ超のwebページを読みこませたQ&Aボットを作成する - Qiita
langchainのアップデートで追加された"Contextual Compression Retriever"を使用して,200ページ超のwebページを読みこませたQ&Aボットを作成するOpenFOAMOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT TL;DR OpenFOAMというCFDライブラリのユーザーガイド(総209ページ)をopenai embeddingsを用いて埋め込み生成した。 生成した埋め込み生成をContextualCompressionRetrieverで圧縮した。 圧縮した埋め込みをRetrievalQAで指定し、Q&Aボットを作成した。 結果として、破綻なく回答できている印象 使用したホームページ 今回はCFDライブラリのOpenFOAMのユーザーガイドを使用しました。(https://doc.cfd.direct/openfo
ChatGPT風の画面を表示できるChatbot UIをFastAPIで作成した自作LangChainサーバに接続させる方法｜mah_lab / 西見 公宏
ChatGPT風の画面を表示するOSSがいくつか出てきている中で、コードの読みやすさと操作性を比較した上でオススメしたいのが、Next.jsで書かれているChatbot UIというOSSだ。 ローカルでサクッと起動ができ、立ち上がるとこんな画面が表示される。 ChatGPTの画面とうり二つOpenAIのAPI Keyを入力すれば簡単にOpenAIのチャットモデルと接続される。API接続のChatGPTなので、本家のChatGPTよりはやりとりできる文字量が制限されるものの、本家のChatGPTではセンシティブな情報を扱うことができないため、API接続のUIにも価値はある。 ところでこのChatbot UI、ソースコードを読んでみると環境変数でAPI接続先を差し替えることができるようになっている。process.env.OPENAI_API_HOSTの部分だ。 utils/app/const
本記事は 2022年度 新人卒業記念Week 2日目の記事です。 🌸 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに LangChainについて LangChainの機能 LLMs Prompt Template Document LoadersとIndexes Chains Agent まとめ はじめに こんにちは。新人の堤です。この1年はAWSを中心としたサービスの開発や運用を行っていました。最近はChatGPTなどのLLMを使って遊ぶのにはまってます。 今回は最近自分が色々試しているLangChainというライブラリについてご紹介したいと思います！ LangChainについて LangChainとはChatGPTなどの大規模言語モデル(LLM)を使ったサービスの開発を支援するためのライブラリです。LangChainを使用することで、LLM単独ではできないような他の計算や知識のソ
生成AI新年会2024 LT資料 LangGraphで始めるマルチエージェントシステム
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChain の新記法「LangChain Expression Language (LCEL)」入門
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
LangChain への OpenAIのRAG戦略の適用｜npaka
大規模言語モデルなどを抽象化し、生成AIアプリの開発を容易にする「LangChain」が初の安定版に到達
ChatGPT APIの運用で必須のツール: LangChainの使い方まとめ (2) - Qiita
LangSmith で始める LLMOps - Gaudiy Tech Blog
SVMを使った類似 embeddings 検索 - kNN ではない類似検索の選択肢 - A Day in the Life
【書籍出版記念】LangChainから学ぶLLMを使ったアプリケーションの工夫
ChatGPT向けライブラリ、LangChainを格段に使いやすくするtips
ChatGPT の Fine-tuning を試したけど上手くいかなかった話
ChatGPTとLangChainで恋愛シミュレーションゲーム用AIを実装してみた - Qiita
RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
Octomind社がLangChainをやめた理由｜Sangmin Ahn
ChatGPT/LangChainによるチャットシステム構築[実践]入門
LangSmithを活用したRAGの評価・改善フローの整備
LangChain Toolsの運用と改善
LangChainの「Chain」や「Agent」を使う時は注意が必要 「Chat APIの形式を活かした実装かどうか」の確認方法
LangChainの概要と使い方｜サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】
Vertex AI Gemini ProとLangChainで実現するMultimodal RAG
プロンプトエンジニアリングから始めるLangChain入門講座 大嶋勇樹氏が教える、OpenAIのモデルとAPIの使い方
LangChainを使ってHyDEによるクエリ変換の効果を検証する - Ahogrammer
LangChainとは？各モジュールの機能と活用事例まとめ | Hakky Handbook
ChatGPTの機能を拡張するLangChainを試してみた - NRIネットコムBlog
LangGraphで始めるマルチエージェントシステム