LLMはシステムプロンプトをどれほど守れるか | AIDB

本記事では、皆さんご存じの「システムプロンプト」に関する新しい研究を紹介します。 研究者たちは、LLMがシステムプロンプトにどれくらい正確に従えるかを評価し、さらにその性能を高める方法を探しています。 背景 「システムプロンプト」とは、LLMアプリケーション（例えばChatGPTなど）の動作を制御するための特別な指示文です。もともとはOpenAIのGPT APIで小さな機能として導入されましたが、現在ではモデルの安全性や品質を保つために欠かせない重要な要素となっています。 主に次のような目的で使われています。 不適切なコンテンツや悪意のある利用を防ぐ LLMが従うべきルールやガイドラインを設定する LLMが特定の性格やキャラクターとして振る舞えるようにする 一言でいうと、「ユーザーからの指示よりも優先される、特別な命令」として働きます。 しかし指示に従うのは、LLMが学習を通して身につけて