OpenAIが会話向け言語モデル「ChatGPT」を公開、リサーチプレビュー中は無料で使用可能

ChatGPTは、対話形式によってフォローアップの質問に答えたり、間違いを認めたり、間違った前提に異議を唱えたり、不適切な要求を拒否したりすることが可能なInstructGPTの兄弟モデルであり、プロンプトの指示に従って詳細な応答を提供するようトレーニングされている。 InstructGPTと同じ方法を使用して、人間のフィードバックからの強化学習（RLHF）を使用してトレーニングされているが、データ収集の設定がわずかに異なり、トレーナーが回答を作成するのに役立つよう、モデルが作成した提案にアクセスできるようにしたという。 強化学習の報酬モデル作成にあたっては、AIトレーナーがチャットボットと行った会話を用いており、モデルによって書かれたメッセージをランダムに選択し、いくつかの代替補完をサンプリングして、AIトレーナーにそれらをランク付けさせた。このようにして作成された報酬モデルを、Prox