はてなブックマーク

背景 以前、ChatGPTを使って以下のようなものを作りました。 「 決算短信などのPDFファイルから分析に必要なデータを抽出し、Excelとして出力してくれる 」 機能的には気に入っていますが、実行がとても面倒くさいです 「 Pythonスクリプトを実行した後に、ChatGPTに入力して、出力をコピペして、、、 」といった感じですね。 そこで、自動化・パイプライン化したいなあと思い始めたのが今回の背景です。 自動化しようと思ったときに、Prompt Flowを使えるのではないかということで実装してみました。(Pythonだけでも実装可能だと思います。) Prompt Flowを使えば、Variantsを使って並列で色々なプロンプトを試せますし評価も可能です。 やること 今回やることの全体像は以下の通りです。 入力 ユーザがPrompt Flow対してファイル名を入力 Prompt Flo

まえがき 前回、ChatGPT規格のプラグイン開発に触れてみました。 プラグインの呼び出し元であるAIオーケストレーションにはLangchainを採用して色々と試していましたが、エラーになる確率の方が高かったです、、。 Microsoftが掲げるCopilot stack × Pluginsの全体像に対して、前回行った内容を当てはめると以下のようなイメージでしょうか。 自作のプラグインを作成 Langchainから自作のプラグインを呼び出す プラグイン連携はOpenAPI仕様に基づく もう少し具体的な図で示すと以下のようなイメージです。 ※プロンプトチューニングなどはしていないので精度向上の余地は十分に残されています。 具体的には、リクエスト先のURLが間違っていることが多かったですね。 そこを調整してあげればなんとかなりそうな印象でした。 プラグインとして2つの機能を用意していました。

まえがき 今回は入門ということで、以下の2つのことをまとめています。 Prompt flowの作成～実行 簡易的なタスクをPrompt flowで実装 Prompt flowの便利機能には今回触れていません。次回以降まとめていきます。 以下のような便利機能を試していく予定です。 マネージドオンラインエンドポイントの作成 Variant Bulktest ベクトルDBやSerp APIとの連携 リソース構築 事前作成が必要なもの Azure OpenAI gpt-35-turbo Machine Learning Studioのワークスペース Azure OpenAIを作成し、上記モデルをデプロイします。エンドポイントとキーをコピーしておきます。 また、下記URLからワークスペースを作成しておきます。 Prompt flowとAzure OpenAIの接続 Connenctionsタブへ移動

実装する処理 各ライブラリでエージェントの機能を実装し、色々と比較してみました。 ~前提条件~ 紫の対話可能なエージェントとユーザの対話により、ざっくりとした実行計画が既に作成済みのものとします。 そのため、青色のエージェントの処理(⑤)を「guidance・Semantic kernel・Langchain」で実装します。 今回、青色のエージェントには以下の3つの機能を持たせています。 Search: 社内資料の検索を想定した関数 Web: Web検索で外部情報を取得することを想定した関数 Answer: search, webで収集した情報とユーザの入力を基に回答を生成する関数 紫の対話可能なエージェントではユーザとの対話により、実行計画のベースを作ります。 こちらについてはまた別の記事でまとめようと思います。 最終的に以下のような出力が得られます。 この出力を青色のエージェントに渡し

0. まとめ ※ソースコードと睨めっこし、色々試しながら実行して得た見解ですので、正確ではないかもしれません。 （ドキュメント読めば書いてあるんですかね、、） 用語については下記記事にとてもわかりやすくまとめられています。 スキル間の結果の受け渡しは勝手に行われる 受け渡す必要がない場合でも、受け取りは発生する 受け取った側で使わなければOK 内部の処理では、コンテキストオブジェクトで行われる(context['input']に前の結果が入っている) ネイティブ関数で前のスキルの実行結果を受け取る際はcontextを使う 上述の通り、スキル間の値の受け渡しはコンテキストを用いるため （ドキュメントをちゃんと読んでおらず、ほかにも方法があるかもなので要調査です） セマンティック関数のconfig.jsonを書く際はinputを含めた方がいい 無くてもエラーにならないが、input: <空白>

①Guidanceってなに？ Guidanceは、今後さらに複雑になるであろうプロンプト開発を見越しているものと捉えています。(私の主観が入っていますが) またユーザ目線で考えると、複雑なプロンプトを実行するとその分料金が発生します。複雑なプロンプトを簡略化できれば費用も抑えられますよね。 ガイダンスプログラムは、従来のプロンプティングやチェイン法よりも効果的かつ効率的に現代の言語モデルを制御することを可能にします。ガイダンスは、言語モデルがテキストを処理する方法と実際に一致するように、生成、プロンプティング、論理的な制御を連続した流れで組み合わせることができます。Chain of Thoughtやその他のバリエーション（ART、Auto-CoTなど）などのシンプルな出力構造は、言語モデルの性能を向上させることが示されています。よりパワフルなGPT-4の登場により、さらに豊かな構造が可能に

import guidance # 推論に使用する言語モデルを指定 guidance.llm = guidance.llms.OpenAI("text-davinci-003") # テンプレート内で使用する変数を定義 nutrient_list = ["炭水化物", "タンパク質", "脂質"] people = [ {"name": "田中", "description": "鶏むね肉と白米を食べました"}, {"name": "木村", "description": "ラーメンと餃子を食べました"} ] # プロンプト①を生成 program1 = guidance('''栄養素リスト: {{#each nutrient_list}}- {{this}} {{/each~}}''') # プロンプト②を作成 program2 = guidance('''食事状況: {{#each p

導入 5/9にMetaからすごそうなモデルが発表されましたね、しかもOSS ということは、自分のPCでも動かせるのでは？ということで触ってみました。 進化・スピードが早すぎて、情報のキャッチアップ＆咀嚼が圧倒的に間に合いません、、 みなさんどうされていますか？こんなときこそAIの出番ですかね。 とか思いつつ寿命(睡眠時間)を削りつつ勉強しています。 ImageBindについて Metaのメタバースへの本気度がうかがえるようなモデルですよね。 参考: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/ 以下、GPT翻訳。 ImageBindは、人間が複数の感覚を使って情報を取り込む能力に近づくためのアプローチです。このモデルは、明示的な監督（生データの整理やラベリングの必要性）なしに、テキスト、画像/動画、音声だ

from langchain import HuggingFacePipeline, PromptTemplate, LLMChain from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from transformers import StoppingCriteria from transformers import StoppingCriteriaList from langchain.memory import ConversationBufferMemory import torch def model_setup(model_id:str): # モデル&トークナイザーのダウンロード print(f"!!! Downloading Model from {model_id} !!!") mo