プロンプトエンジニアリングのすすめかた

TAKT を Product Hunt に出します！ 8/9 に公開されます。 Product Hunt はローンチ当日の反応でランキングが決まり、上位に入るほど海外の開発者に届きます。 当日、見に来て応援してもらえると嬉しいです。 https://www.producthunt.com/products/takt-3?launch=takt-3 最近 AI が暴走して他社に攻撃してしまった。 そんな話が耳に入りつつ、自分とは関係ないことだと思っていました。 そう、過去形です。 実は私はここのところ、ずっとモデルの性能アップと格闘していました。 モデルの精度が上がり、指示への遵守性が上がったことで、TAKT が無限に近いループを起こすようになってしまったのです。 TAKT には、内部エージェントが利用するビルトインのプロンプトが大量に入っています。 この1週間だけでプロンプト関連の fix

[jintrick]

明らかにプロンプトの不整合、矛盾がない場合、モデルのせいにして切ってる。きりない。オーケストレーションに耐えないモデルにまともな仕事ができるとは到底思えないゆえ。

[nguyen-oi]

感覚でプロンプトいじって沼る現象にちゃんと評価テスト持ち込んでTDD化するの説得力ある

[dd41kk]

“プロンプトの TDD” モデルの性能が良くなると、良くも悪くも、これまでの指示で同じ結果にならないことがあるので、常に評価と改善のループを回していく必要がありますね。評価を入れて Silent Driftに気をつけたい