非エンジニアの専門家と作るAIプロダクトで、プロンプト管理に悩んでいる - Sweet Escape

最近、AIを使ったプロダクトをAIを使って開発している中で、プロンプトの管理をどうするのがいいのか、ずっと考えている。しかも、似たような問題に全く別の2つのプロダクトで同時にぶつかっていて、なかなか答えが出ない。ただ、考えているうちに、これは単に「プロンプトをどこに保存するか」という話ではなさそうだと思うようになった。むしろ、専門家が持っている判断基準や会話の進め方を、どうやってAIプロダクトの中に受け渡すのか、という話に近いと言える。 正直まだ結論はない。ただ、現時点での仮説としては、プロンプト本文だけを管理しても足りない。モデル、パラメータ、システムプロンプト、セッション間のハンドオフ、評価、バージョン管理まで含めて、専門家とエンジニアが一緒に触れる場所が必要なのではないか、という気がしている。整理がてらそんな話を書く。みんなどうしてるのかも気になるテーマなので。 どういうプロダクトを

[Keisuke69]

書いた

[n314]

プログラミングでも、5往復ぐらい会話して出来た成果物をスキルで一発で出来るようにしようとするとめっちゃ難しい。あとで指摘したら納得してくれる指示を最初に提示してもなんか軽視されるんだよね。

[yamadadadada2]

たぶん自前で作ったほうが早い。似たようなことを検討したことがあったけど、参考にしたい本を要約したり概念のネットワーク図を持たせるなどしたら良くなったが、知識の専門性と会話の自然さの両立ってむずい

[simplememofast]

押し戻すと、争点は保存先より『専門家の合否基準を評価データ化する』ことでは。本文より先に合格・不合格例を各１０並べた方が早くないか？

[nguyen-oi]

ChatGPTの周辺システム設計が優秀すぎるせいで、APIを直コールしたときの挙動の差に専門家が絶望するのはあるある。自前プレイグラウンドいるね