プロンプトエンジニアリングを終わらせるDSPy

はじめに DSPyに夢中である。DSPyの最も重要な点は、手動のプロンプトエンジニアリングを排除できる可能性を秘めていることだ。可能性を秘めているだけで、現状、手動のプロンプトエンジニアリングが完全に不要になったわけではないのだが、こちらの分野を真面目に学ぶ動機として十分だ。使い心地というか、真面目にこの分野やってみようと思ったのはPFNのChainerを初めて触ってみたときの感覚に似ている。その後、PyTorchが出現し、すごいスピードで技術とツールが進歩していく中で、学んだことをまとめるためにブログを書き始めたのを思い出した。 DSPyがディープラーニングのフレームワークであるPyTorchやChainerに似ているのは表面上の使い心地だけの話ではない。わざわざプログラムの書き心地がこうなったのは、「これまで人手で頑張ってきたことを、パラメータにおきかえてしまい、教師データでガバっと訓

[arrowKato]

プロンプトエンジニアリングで、正解の出力がある場合のプロンプトの最適化の自動化ライブラリDSPy

[kojikoji75]

“訓練の部分が高度に抽象化されており、やはりPyTorchというよりはKerasの使い心地に似ていた”

[Magicant]

かういふのが「プロンプトエンジニアリング」といふ言葉が本来指すべきであった工学な気がする

[khtno73]

"これで教師データ相当を一つ作れたことになる。もちろんこれをそれなりにたくさん作るので、「あれ？プロンプト頑張った方がよくない？」"

[fuji_haruka]

プロンプトの中に例を直接埋め込むのではなく、例を使ってプロンプトを「最適化」するのか

[ihirokyx]

“DSPyもプロンプトを頑張って作るという作業を、プログラム可能にし、最適化問題に落とし込んでいる”

[t-wada]

"プロンプトを頑張って作るという作業を、プログラム可能にし、最適化問題に落とし込んでいる" "シグネチャと処理の内容だけを記述したのちに、その入出力データを与えて訓練を行える" "要は機械学習問題になっている"

[yasu-osu]

プロンプトを学習を通じて最適化していくという仕組み面白い。

[misshiki]

“プロンプトエンジニアリングは、ある意味で「大規模言語モデル」を分析対象とした特徴量エンジニアリングのようなもの。ディープラーニングみたく、プロンプトを訓練してしまおうという発想は自然に感じる”