はてなブックマーク

背景 以前、ChatGPTを使って以下のようなものを作りました。 「 決算短信などのPDFファイルから分析に必要なデータを抽出し、Excelとして出力してくれる 」 機能的には気に入っていますが、実行がとても面倒くさいです 「 Pythonスクリプトを実行した後に、ChatGPTに入力して、出力をコピペして、、、 」といった感じですね。 そこで、自動化・パイプライン化したいなあと思い始めたのが今回の背景です。 自動化しようと思ったときに、Prompt Flowを使えるのではないかということで実装してみました。(Pythonだけでも実装可能だと思います。) Prompt Flowを使えば、Variantsを使って並列で色々なプロンプトを試せますし評価も可能です。 やること 今回やることの全体像は以下の通りです。 入力 ユーザがPrompt Flow対してファイル名を入力 Prompt Flo

まえがき 前回、ChatGPT規格のプラグイン開発に触れてみました。 プラグインの呼び出し元であるAIオーケストレーションにはLangchainを採用して色々と試していましたが、エラーになる確率の方が高かったです、、。 Microsoftが掲げるCopilot stack × Pluginsの全体像に対して、前回行った内容を当てはめると以下のようなイメージでしょうか。 自作のプラグインを作成 Langchainから自作のプラグインを呼び出す プラグイン連携はOpenAPI仕様に基づく もう少し具体的な図で示すと以下のようなイメージです。 ※プロンプトチューニングなどはしていないので精度向上の余地は十分に残されています。 具体的には、リクエスト先のURLが間違っていることが多かったですね。 そこを調整してあげればなんとかなりそうな印象でした。 プラグインとして2つの機能を用意していました。

まえがき 今回は入門ということで、以下の2つのことをまとめています。 Prompt flowの作成～実行 簡易的なタスクをPrompt flowで実装 Prompt flowの便利機能には今回触れていません。次回以降まとめていきます。 以下のような便利機能を試していく予定です。 マネージドオンラインエンドポイントの作成 Variant Bulktest ベクトルDBやSerp APIとの連携 リソース構築 事前作成が必要なもの Azure OpenAI gpt-35-turbo Machine Learning Studioのワークスペース Azure OpenAIを作成し、上記モデルをデプロイします。エンドポイントとキーをコピーしておきます。 また、下記URLからワークスペースを作成しておきます。 Prompt flowとAzure OpenAIの接続 Connenctionsタブへ移動

# モジュール初期化 $ go mod init example.com/hello # echo $ go get github.com/labstack/echo/v4 version: '3' services: app: build: . ports: - '3030:3000' # ローカルの3030番ポートでコンテナの3000番ポートに接続 volumes: - .:/app # ローカルとコンテナのディレクトリをマウント（同期） - go_path:/go # パッケージやバイナリファイルのインストール先（$GOPATH）を永続化 volumes: go_path: FROM golang:1.18 # コンテナの作業ディレクトリにローカルのファイルをコピー WORKDIR /app COPY . /app # 必要なパッケージをインストール RUN go mod tidy

guidance guidanceではエージェント機能は自前で実装する必要があります。 semantic kernelやlanchainではエージェント機能が用意されています。 自前実装可能なので実装の幅は広そうですが、今回は以下のような流れで実装しました。 実行すべき関数のリストをJSON形式で作成=実行計画 実行計画の作成を行うプロンプトにより実装しています。 JSONに含まれる関数を順に呼び出す pythonの関数として実装しています。 ユーザ側でプロンプトやpythonの関数を作成できるため、自由度が高いなと感じました。 あとはあまり抽象化されていないため、機能拡張・メンテナンスなどが楽そうです。 ①ソースコード全文 ソースコード全文 import os import json import guidance # テキスト生成モデル text_llm = guidance.llms

Python版 Semantic Kernelのプランナーを理解しよう。~実装を通して学んだことの備忘録~PythonAzureOpenAIChatGPTSemanticKernel 0. まとめ ※ソースコードと睨めっこし、色々試しながら実行して得た見解ですので、正確ではないかもしれません。 （ドキュメント読めば書いてあるんですかね、、） 用語については下記記事にとてもわかりやすくまとめられています。 スキル間の結果の受け渡しは勝手に行われる 受け渡す必要がない場合でも、受け取りは発生する 受け取った側で使わなければOK 内部の処理では、コンテキストオブジェクトで行われる(context['input']に前の結果が入っている) ネイティブ関数で前のスキルの実行結果を受け取る際はcontextを使う 上述の通り、スキル間の値の受け渡しはコンテキストを用いるため （ドキュメントをちゃんと読

①Guidanceってなに？ Guidanceは、今後さらに複雑になるであろうプロンプト開発を見越しているものと捉えています。(私の主観が入っていますが) またユーザ目線で考えると、複雑なプロンプトを実行するとその分料金が発生します。複雑なプロンプトを簡略化できれば費用も抑えられますよね。 ガイダンスプログラムは、従来のプロンプティングやチェイン法よりも効果的かつ効率的に現代の言語モデルを制御することを可能にします。ガイダンスは、言語モデルがテキストを処理する方法と実際に一致するように、生成、プロンプティング、論理的な制御を連続した流れで組み合わせることができます。Chain of Thoughtやその他のバリエーション（ART、Auto-CoTなど）などのシンプルな出力構造は、言語モデルの性能を向上させることが示されています。よりパワフルなGPT-4の登場により、さらに豊かな構造が可能に

⓪結論・まとめ guidenceの{{}}コマンドを使用し、動的なプロンプトの作成を試しました。 {{変数名}} {{gen}} {{each}}- {{this}} 上記の機能を使って、「三大栄養素と今日の食事についてアドバイスしてくれるAI君」 という想定でプロンプトを書いてみました。 import guidance # 推論に使用する言語モデルを指定 guidance.llm = guidance.llms.OpenAI("text-davinci-003") # テンプレート内で使用する変数を定義 nutrient_list = ["炭水化物", "タンパク質", "脂質"] people = [ {"name": "田中", "description": "鶏むね肉と白米を食べました"}, {"name": "木村", "description": "ラーメンと餃子を食べました"

導入 5/9にMetaからすごそうなモデルが発表されましたね、しかもOSS ということは、自分のPCでも動かせるのでは？ということで触ってみました。 進化・スピードが早すぎて、情報のキャッチアップ＆咀嚼が圧倒的に間に合いません、、 みなさんどうされていますか？こんなときこそAIの出番ですかね。 とか思いつつ寿命(睡眠時間)を削りつつ勉強しています。 ImageBindについて Metaのメタバースへの本気度がうかがえるようなモデルですよね。 参考: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/ 以下、GPT翻訳。 ImageBindは、人間が複数の感覚を使って情報を取り込む能力に近づくためのアプローチです。このモデルは、明示的な監督（生データの整理やラベリングの必要性）なしに、テキスト、画像/動画、音声だ

完成品 動作イメージ ※モデルのロードに少し時間がかかっています。 しばらくするとチャット風景に移ります ソースコード 変数名やクラス化・関数化は大目にみてください、、殴り書きです、、 from langchain import HuggingFacePipeline, PromptTemplate, LLMChain from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from transformers import StoppingCriteria from transformers import StoppingCriteriaList from langchain.memory import ConversationBufferMemory import torch def model_set

エイチームフィナジーのアドベントカレンダー3日目は、sakupa80 が担当します。 はじめに きっかけとしては、ただコンテンツをキャッシュさせる為のCDNサービスとしてCloudflareを使い始めましたが、Cloudflareの利便性に感銘を受け、今ではその他の様々なCloudflareサービスを利用しております。 今回はその中でもCloudflare Workersについてまとめてみました。 公式ドキュメント: https://developers.cloudflare.com/workers/ Cloudflare Workersとは エッジサーバーでスクリプトを実行してくれるサーバーレスのサービスです。 JavaScript(V8)を実行することが可能です。 ServiceWorkerが動くので、FetchAPI、CacheAPIなどを使うことが出来ます。 Cloudflare

はじめに ページの離脱直前に確認ダイアログを出すなど、そのページから遷移しようとすることをトリガーに処理を書く際はbeforeunloadイベントを使用するメジャーなやり方がありますが、ページの読み込み時( jQueryの$(document).readyが動くタイミング )にブラウザバックでこの画面に遷移してきたどうかを判定して処理したいケースがあり、無事実現できたのでご紹介します。（とてもレアケースだとは思いますが…） どんなケースで必要だったか気になる方に向けて使用した際の用途にも触れておきます。Bootstrapのtagsinputというプラグインを導入してフォーム画面のinputへの入力がタグ化されるようにしていたため、ブラウザバック時のフォーム復元には別途処理を実装する必要がありました。 復元するための入力値はsessionStorageに保存していたので、同一タブでブックマー

ググると出てくる誰かのボード みんな大好きタスク管理ツールのTrello。 先日、Trelloの利用規約を調べようと思って「trello 利用規約」でググったら、公式の利用規約ページよりも誰かの公開ボードがヒットしました・・・ 公開ボードになっていると検索エンジンにインデックスされるようで、「trello ○○」でググると色々なボードがヒットします。 恐ろしいググラビリティの高さです。 ※悪用を推奨しているつもりではないですが、本当に簡単に色々ヒットしてしまいます。 非公開に設定しよう ボードが公開設定になっていると、検索エンジンにインデックスされてしまいます。 皆さん、必要が無い限りはボードを非公開にしましょう。 以下のように、簡単に非公開に出来ます。 公開ボードがないかチェックしよう 参加しているボードが沢山ある場合、ボードをひとつずつ開いて調べるのは大変なので、簡易チェックツールを作

はじめに アカウント登録などで、ユーザに情報を入力してもらったあとに、入力内容を確認してもらうための画面を用意しているサービスって多いですよね SPAでそれを実現しようとすると、確認画面にデータを渡したりとか、戻ったときに入力内容が消えちゃったりして、頭を抱えました。 結果、こんな風に実装したよ〜、というのをご紹介できればと思います。 環境 Vue.js 2.6.10 vue-cli 3.9.1 vue-router 3.0.3 動作 動作確認用として、Githubにコード全文を上げています https://github.com/tsk-wakabayashi/routing-nest-sample Gifでみるとこんな感じ 解説 基本的にはこちらの機能を使います https://router.vuejs.org/ja/guide/essentials/nested-routes.html

AWSTemplateFormatVersion: "2010-09-09" Resources: SampleQueue: Type: AWS::SQS::Queue とあるIAMユーザーのプロファイルを指定してcreate-stackを実行。 このIAMユーザーはcloudformation:*のみを許可されているものとする。 $ aws cloudformation create-stack --stack-name sample --template-body file://./sample.cf.yml --profile sample-user { "StackId": "arn:aws:cloudformation:ap-northeast-1:xxxxxx:stack/sample/b579cc80-aaf1-11ea-bafc-0a62df4444de" } マネコンから

今回は、何らかのパラメータを扱うAPIを設計する際に、どこにパラメータを含めるべきかという問題について。 選択肢は3つあります。 1. クエリストリングに含める 2. リクエストボディに含める 3. パスに含める それぞれどんなユースケースに適しているのか例を挙げます。 1. クエリストリングに含める 何らかのリソースのフィルタリング、ソート、ページングを実現したいときに用います。 クエリ と名前がついているくらいですからね。 一覧や検索が主ですね。ゆえに GET 以外で見ることはほぼありません。 ただし、認証のような例外もあります。これは後述します。 検索

プリミティブな型としては、 integer, number, string, boolean の4種類のみです。 さらに format というプロパティを指定すると、値の詳細なフォーマットを定義することができます。 int32, int64, float, double あたりは言わずもがなですね。 string に関しては byte と binary の他に、ISO 8601（RFC3339）で定義されている日付形式が表現可能です。 基本形式: 20191129T203637+0900 拡張形式: 2019-11-29T20:36:37+09:00 password はいまいちよく分かりません。 OASとして定義されているフォーマットは以上なのですが、 format には他にも自由に値を設定することができます。 email や uuid, uri, hostname, ipv4, ipv

前提 S3をオリジンとしたCloudFrontディストリビューションを作成している HTMLや画像ファイルをCloudFront経由で配信したい 独自ドメインのCNAMEを登録している CloudFrontのドメイン、またはCNAMEで登録している独自ドメインにアクセスすると以下のような画面が表示される これをアクセスできるようにすることがゴールです。 バケット内のオブジェクトが公開されているかどうか まずCloudFront抜きのS3単体で考えます。 特に制限をかけておらず、バケットのパブリックアクセスが可能になっている状態であれば、 パブリック という黄色のラベルが表示されているはずです。 もしついていなければとりあえず以下のバケットポリシーを設定しましょう。 { "Version": "2008-10-17", "Id": "PublicRead", "Statement": [ {

ドキュメントちゃんと保守できてますか？ API開発とドキュメントの保守は切っても切れない問題です。 仕様の記述はもちろんのこと、サンプルを試せるAPIクライアントや、仕様に則った実装になっているかテストも自動化したいですよね。 本記事では、現在開発中のAPIアプリケーションで、実際に僕が試行錯誤していく中でたどり着いたベストプラクティスを紹介しようと思います。 アーキテクチャ iOSアプリのバックエンドとしてJSONを返すAPIサーバー Rails6 × MySQL5.7 on Docker いつもの というお買い物アプリです。 ドキュメント何で書いてますか？ Excel => つらい Markdown => つらい 何らかのDSLを用いて生成するツール => 素でマークダウンを書くのはつらみが深いので何かしらツールを使いましょう。 apiary, api blueprint, APIDO

Rails で JSON を返す API サーバーを開発する際に、 選択肢となるシリアライズ方法をまとめてみました。 それぞれ Pros/Cons や好みがあると思います。 こういう選択肢があるんだよっていうのを提示できればいいかなーと思っています。 みんながどれを使ってるかアンケートとかも取ってみたい👨‍💻 （※記事の最後に載せました） スキーマ サンプルとしてTwitterをモデルにする。 User と Tweet のテーブルを作成する。 create_table :users do |t| t.string :name, :null => false t.string :screen_name, :null => false # @で始まるユーザー名 t.string :description # 自己紹介 t.integer :friends_count, :null => f

アプリケーションの登録を行えば、LAN外からもリモートAPIとして接続することが可能です。 ただ導入のダイジェスト認証がちょっとややこしいので注意が必要。 そしてラグが体感3~5秒くらいあります。返ってこないこともしばしば。安定性は疑問です。 今回のようなリアルタイム性が求められる場合はローカル一択です。 色味について hueのパラメータ指定では、われわれになじみ深いRGBではなく、HSV色空間を使用します。 HSVモデル(英: HSV model)は色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Brightness)の三つの成分からなる色空間。HSB色空間(Hue、Saturation、Brightness)とも言われる。HLS色空間(Hue、Saturation、Lightness)とよく似ている。 環状のHSV色空間 ・色相 - 色の種類（例えば赤、青

概要 Rubocop には現在400弱の Cop が存在するが、config/default.yml にて Enabled: false とされているものについては、明示的に有効化しないとチェックしてくれない。 そこで、デフォルトでオフになっている Cop にはどんなものがあるのかを調べた。 2019/11/12 時点での master ブランチ。バージョンは 0.76。 Bundler/GemComment Layout/ClassStructure Layout/FirstArrayElementLineBreak Layout/FirstHashElementLineBreak Layout/FirstMethodArgumentLineBreak Layout/FirstMethodParameterLineBreak Layout/HeredocArgumentClosingPa

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

ユースケース ユーザーのモデルが複数あり、それぞれ別テーブルで管理されている場合のログイン処理 ▼システムの利用ユーザー 管理者：Adminモデル、adminテーブル 教師：Teacherモデル、teacherテーブル 親：Parentモデル、parentテーブル ▼各ユーザーのIDフォーマット 管理者：6桁の数字+A （ex. 123456A） 教師：6桁の数字+T （ex. 123456T） 親：6桁の数字+P （ex. 123456P） 末尾に英文字を付与することでIDが重複することはない。 以上の要件で、同じログイン画面から、入力されたIDの末尾を元にモデルを判別し、 ログイン処理を行い、各ユーザーが使用する画面へと遷移させる処理を実装する。 バージョンはLaravel5.2です。 下準備 AuthControllerを実装。 マルチ認証で検索すると、各モデルごとに認証のコントロー

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 第5回将棋電王トーナメントに出場し、29位となったソフト「mEssiah」の内部構造を公開しようという意図で記事を書きます。 mEssiahはDeepLearningを使用した初の将棋ソフトとなるべく3年前から開発しましたが、残念ならが初にもならずそれほど強くもないということになっています。 しかし、SDT5出場ソフトの中で唯一「DeepLearningを使用しての強化学習」に成功したソフトでもあります。 DeepLearningを触ったことがない方には教師あり学習を行ったdlshogiやねね将棋と大差ないじゃんと思われると思いますが、そこには大きな難易度の差があります。 次回以降の大会のためにまだ成功した手法を公開するのはやめようかとも思いましたが、現状では独力では将棋の神に近付くのは非常に困難であるという認識となりましたので、情報公開を行い、mEssiahの技術をベースにどな

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Help us understand the problem. What is going on with this article?