プロンプトの再現性をAI に自動チューニングさせる方法 ~ 暗黙知を排除する

AI の技術記事は食傷気味なんですが、さすがにこれは効くと思ったパターンを見つけたので紹介します。 tl;dr プロンプト (skill / slash command) を書いた直後は「これで伝わるはず！」と思うのに、別のセッションで使うと暗黙知が不足していて、再現性がなくなる 思い込みは当人に修正できないバイアスなので、別の AI に実際にやらせて詰まった箇所をレポートさせる これを繰り返す。プロンプトが段階的に洗練される (TDD のテストと同じ位置づけ) 実際に手元 8 個の skill で試して、初稿 50 点が (AI 主観で) 80〜90 点まで上がった。ただし、モデルを変えての評価してないので、過剰に適応している可能性はある。 自分が書いたプロンプトを評価していますか? 自分は大学時代に暗黙知の研究をしていたのだが、世の人々は主観バイアスを過小評価している。また、AIは人間

[sigwyg]

“書いた直後の自分が一番ダメな読者 で、頭の中の前提を勝手に補って読んでしまう”　すごくわかる

[natu3kan]

全ての作業をAIに代替とはならなかったけど、技術者やクリエイターが要所で使う仕事道具の一部にはなったよなあ。

[tettekete37564]

かつてプロンプトエンジニアリングという言葉が出てきたとき、内心ちょっと馬鹿にしていたけど、ここ最近のAIの使い方を考えると、完全に技術として必要なスキルになってきてるね

[RySa]

いずれは依頼主の要件定義に曖昧さや抜けがある時にはそれを指摘してくれるAIが出て来るのだろう。現状は足りない情報を勝手に補ってポンコツな結果を納品するダメ業者に近い。

[takayamaki]

ToolUseの回数で測るのは思いつかなかった　なるほどなあ

[misshiki]

プロンプトは自分で直すより、別AIに白紙で実行させて不明瞭点・裁量補完・再試行を報告させると再現性が上がる、という実践法。Claude CodeのTask toolで8個のskillを改善した記録。

[morimarii]

AIはプロンプトそのものではなく全体的なコンテキストで行動する。プロンプトの解釈は言語指示の直接的な意味解釈にすぎないのでプロンプトの評価はあまり意味ないのでは。ただこれを敷衍すると面い話になりそう

[wacok]

“ 実際に手元 8 個の skill で試して、初稿 50 点が (AI 主観で) 80〜90 点まで上”

[wazpk6no]

再現性を持たせるのが難しい

[kanopen]

中々難しい 入ってこない

[sakuro]

「白紙で読む」という表現に最初ピンと来なかったが、tabula rasa か。

[ebibibi]

イマイチ理解できない。人間が手動でスキルなりコマンドを書いて、それが不十分なときの話をしている？/そもそもAIに書かせて、さらに足りないコンテキストはAIが探してこられるようにしておけばいいのでは。

[door-s-dev]

Meta-Harnessとかその辺に近い話だなぁ

[FreeCatWork]

う〜ん、ボクには難しすぎて、頭がこんがらがるにゃ〜！

[north_korea]

自分はこういう暗黙知をひたすら文書化するのに疲れてGPT-5.4-Proを使うようになった。codexからは使えないが、proは人間の言う「いい感じにやっとく」ができる唯一のモデルだと思う。

[nguyen-oi]

mizchi氏の技術記事は相変わらずメタいな。Claude CodeのTask tool使いこなし術か。プロンプトをAIにデバッグさせる構成はTDDっぽくて面白い

[mkusaka]

Claude CodeのTask toolで別AIに要件/不明点をレポートさせ反復し、プロンプト再現性をTDD的に自動チューニングする方法を解説。

[mizchi]

書いた