LangChain クイックスタートガイド - Python版｜npaka
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
GitHub Copilot Chat の使い方｜npaka
2. GitHub Copilot Chatの開始「GitHub Copilot Chat」の開始手順は、次のとおりです。 (1) 「GitHub Copilot」のセットアップ。 「GitHub Copilot」のセットアップが必要です。 (2) VSCodeの拡張機能で「GitHub Copilot Chat」をインストール。 (3) チャットタブが追加されるので、クリック。 (4) チャットのメッセージボックスに質問を入力。 コードを開いて「このコードを説明して」と頼むと、次のように説明してくれました。 エディタでコードが選択されている場合、Copilot は選択した範囲に質問を絞り込みます。 3. スラッシュコマンド「Copilot」がより適切な回答を提供できるように、「スラッシュコマンド」を使用して質問のトピックを選択できます。 ・/explain : 選択したコードがどのように
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll
GPT-3.5 Turboのファインチューニング｜npaka
以下の記事が面白かったので、かるくまとめました。 ・GPT-3.5 Turbo fine-tuning and API updates 1. はじめに「GPT-3.5 Turbo」のファインチューニングが利用可能になりました。「GPT-4」のファインチューニングもこの秋に提供される予定です。 初期のテストでは、ファインチューニングした「GPT-3.5 Turbo」が、特定の狭いタスクに関して「GPT-4」と同等、またはそれ以上のパフォーマンスを発揮できることが示されています。 他のAPIと同様、ファインチューニングAPIで送受信されるデータは、OpenAIやその他の組織が、他のモデルを学習するために使用することはありません。 2. ファインチューニングのユースケース今回のリリースにより、開発者は教師ありファインチューニングで、ユースケースに合わせてこのモデルのパフォーマンスを向上できるよう
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
Google Colab で LINE の japanese-large-lm を試す｜npaka
「Google Colab」でLINEの「japanese-large-lm」を試したので、まとめました。 1. japanese-large-lm「japanese-large-lm」は、「LINE」が開発した36億パラメータの日本語LLMです。 2. japanese-large-lmのモデル「japanese-large-lm」では、次の3種類のモデルが提供されています。 ・line-corporation/japanese-large-lm-3.6b : ベースモデル ・line-corporation/japanese-large-lm-3.6b-instruction-sft : 指示モデル ・line-corporation/japanese-large-lm-1.7b : ベースモデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabの
GitHub Copilot Labs の使い方｜npaka
1. GitHub Copilot Labs「GitHub Copilot Labs」は、「GitHub Copilot」の実験的な機能を提供するVSCode拡張です。 以下の機能を提供しています。 ・コードの説明 ・コードを別の言語に翻訳 ・コードの編集 ・読みやすさの向上 ・型の追加 ・バグ修正 ・デバッグコードの追加・削除 ・コードをステップ毎に説明 ・コードの堅牢化 ・コードの分割 ・ドキュメントの追加 ・カスタム ・テストコードの生成 また、「GitHub Copilot Labs」では「GitHub Copilot」とは別の規約が適用されます。より多くの情報を収集する可能性があります。これは、実稼働ではなく、学習を目的として設計されているためになります。 2. GitHub Copilot Labsの開始「GitHub Copilot Labs」の開始手順は、次のとおりです。
OpenAI API の Function Calling を試す｜npaka
「OpenAI API」の新機能「Function Calling」を試したので、まとめました。 1. Function Calling「Function Calling」は、開発者が事前に関数の定義を指定しておくことで、モデルが必要に応じて実行する関数とその引数を選択できるようにする機能です。 例えば、「東京の天気は？」という質問は、モデルだけでは現在の天気がわからないため正解を返すことができません。開発者が事前に天気情報の関数の定義を指定しておくことで、モデルは天気の質問があった際にその関数を呼ぶことを選択し、その関数の実行結果を使って正解を返すことができるようになります。 2. Function Callingの処理の流れ「Function Calling」の基本的な処理の流れは、次のとおりです。 (1) ChatCompletionでユーザー入力と関数の定義を送る 必要に応じて、関
GitHub Copilot の使い方｜npaka
「GitHub Copilot」を使ってみたので、まとめました。 1. GitHub Copilot「GitHub Copilot」は、人工知能のペアプログラミングシステムです。人工知能 (OpenAI Codex) がコードの候補を提案することにより、プログラマがより迅速に少ない作業でコードを書けるようにサポートします。 サポートするエディタは、次の4つです。 ・Visual Studio Code ・Visual Studio ・JetBrains ・Neovim 2. 使用料金「GitHub Copilot」の使用料金は月10ドル、または年100ドルです。60日間の無料トライアルもあります。 ・Pricing - GitHub Copilot 3. GitHub Copilotの開始「GitHub Copilot」の開始手順は、次のとおりです。 (1) 「GitHub」アカウントを持
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
