OpenAIのモデルアップデートに備えてPrompt Flowでモデルの評価フローを作る
LLMがアプリケーションに組み込まれ始めていますが、LLMを組み込んだアプリケーションというのは非常に評価が難しいです。 いわゆる"AI"を使用しないアプリケーションの場合は基本的に処理はルールベースで実行されるため、単体テストやE2Eテストなりで評価を行うことが可能です。 一方でLLMをはじめとしたAIモデルは確率生成に依る部分が多く、テストパスが通ったからと言って毎回同じ出力が得られるとは限りませんし、自然言語で出力された結果をルールベースで評価することも困難です。 上記のように、モデルアップデートのための評価は大変な反面、LLM自体の進化は早く、モデルのアップデートが頻繁に行われています。 例えばOpenAIのGPT-3.5-turboやGPT-4を見ると、リリースから現在まで0301 / 0613 とバージョニングがされていて、それを並行してgpt-35-turbo-16kなどの別
GitHub ActionsでCODEOWNERSファイルの変更を詳細に報告するツール
皆さん、こんにちは！ @hoshinotsuyoshi です。今回は、私が開発した便利なツールについて紹介したいと思います。このツールは、GitHubのCODEOWNERSファイルの変更を正確に報告し、プルリクエストのレビューを効率的に進めるのに役立ちます。 背景 プロジェクトの管理では、CODEOWNERSファイルを使用して、特定のファイルやディレクトリに対する所有者（コードの保有者）を指定することがあります。 しかし、このファイルの解釈・パースは複雑怪奇で、このファイルの内容が変更された場合、具体的にどのファイルが影響を受けるのかを把握するのは簡単ではありません。 同僚のmh4gfさんの記事 GitHubのCODEOWNERSで一部サブディレクトリだけ別のオーナーを指定する も御覧ください。 サブディレクトリだけ別のオーナーを指定するときにこんな書き方をしないといけないんです。 どうで
体験欠乏症｜shinshinohara
「お金もらうわけにいかないし、晩飯だけ食べさせて」という約束で家庭教師をしていたことがある。指導することになったその子の状況について、家族全員に説明していたところ、その子の妹が不思議そうに「なんで文章みたいに話せるの？」と聞いてきた。 その家族の会話は、ほとんど単語で終わっていた。「ねえ、○○は？」「おい、△△しろ」その場の状況から察することができるから、単語で事足りる生活をしていた。状況から察する能力があるのだから、頭は悪くない。ただし、言葉を鍛えられる環境にはなかった。 もちろん家族の誰も、本を読む習慣がなかった。「文章」と出会うのは、学校の教科書くらい。そんな生活環境の中で、私のように「文章」のように論理を組み立ててしゃべる人と出会って、その妹は驚いたようだ。 そのような生活環境で言葉を鍛えることができるかというと、難しい。言葉を鍛えなければ、学校の勉強についていくのも難しくなる。何
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
