Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
Google Colab で OpenAI API の Code Interpreter を試す｜npaka
「Google Colab」で「OpenAI API」の「Code Interpreter」を試したので、まとめました。 前回 1. Code Interpreter「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Code Interpreter」を使います。「Code Interpreter」は、「Assistant API」がサンドボックス実行環境でPythonコードを作成して実行できるツールです。さまざまなデータと形式を含むファイルを処理し
OpenAI の Assistant Playground の Retrieval を試す｜npaka
「OpenAI」の「Assistant Playground」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化する機能です。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みのインデックスを作成して保存し、ユーザーの質問に関連するコンテンツを取得するベクトル検索を提供します。
OpenAI の Assistant Playuground の Function Calling を試す｜npaka
「OpenAI」の「Assistant Playuground」の「Function Calling」を試したので、まとめました。 前回 1. Function Calling「Function Calling」は、アシスタントに関数定義を指定することで、呼び出す必要がある場合に、関数呼び出しの要求を返すことができます。関数呼び出しの要求時には「Run」は一時停止され、関数呼び出し結果を提供することで「Run」は続行されます。 2. アシスタントの作成アシスタントの作成手順は、次のとおりです。 (1) 「Playground」を開き、左端の「Playgroundアイコン」とタイトル横の「Assistants」を選択し、「+Create」を押す。 (2) WebUIで以下のように設定。 ・Name : お天気ボット ・Instructions : あなたはお天気ボットです。 提供されている関
OpenAI の Assistant Playground の Code Interpreter を試す｜npaka
「OpenAI」の 「Assistant Playground」の「Code Interpreter」を試したので、まとめました。 前回 1. Code Interpreter「Code Interpreter」は、アシスタントがサンドボックス実行環境でPythonコードを作成および実行できるツールです。さまざまなデータと形式を含むファイルを処理し、データとグラフの画像を含むファイルを生成できます。 2. アシスタントの作成アシスタントの作成手順は、次のとおりです。 (1) 「Playground」を開き、左端の「Playgroundアイコン」とタイトル横の「Assistants」を選択し、「+Create」を押す。 (2) WebUIで以下のように設定して、SAVEボタンを押す。 ・Name : 数学の家庭教師ボット ・Instructions : あなたは数学の個人家庭教師です。数学
Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka
「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 GPTQを利用するため、「auto-gptq 」もインストールしています。 # パッケージのインストール !pip install t
GPT-3.5 Turboのファインチューニング｜npaka
以下の記事が面白かったので、かるくまとめました。 ・GPT-3.5 Turbo fine-tuning and API updates 1. はじめに「GPT-3.5 Turbo」のファインチューニングが利用可能になりました。「GPT-4」のファインチューニングもこの秋に提供される予定です。 初期のテストでは、ファインチューニングした「GPT-3.5 Turbo」が、特定の狭いタスクに関して「GPT-4」と同等、またはそれ以上のパフォーマンスを発揮できることが示されています。 他のAPIと同様、ファインチューニングAPIで送受信されるデータは、OpenAIやその他の組織が、他のモデルを学習するために使用することはありません。 2. ファインチューニングのユースケース今回のリリースにより、開発者は教師ありファインチューニングで、ユースケースに合わせてこのモデルのパフォーマンスを向上できるよう
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
ローカルLLMの情報まとめ｜npaka
「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近のLLMの学習法のまとめ - SFT・RLHF・RAG｜npaka