模倣を越える生成AIのためのフィードバック学習と画像への応用【RLHF, DPO】

模倣を越える生成AI ここ2-3年で生成AIの性能を模倣を越えたものへと押し上げる試みが爆発的に広まった。この記事ではフィードバックチューニングと呼ぶことにする新たな枠組みで「生成例」ではなく「生成例に対するフィードバック」から学習する。ChatGPTは教師あり学習に追加してフィードバックチューニングを行うことで単なる模倣だったGPT-3.5モデルをユーザーフレンドリーなChatBotへと昇華させることで世界で最も早く普及したアプリケーションとなった。この記事では生成AIを模倣を越えたAIへと進化させる手法についてまとめる。 教師あり学習の限界 2022年の頃には生成AIはすでに人間と同じようなテキストを書きカメラで撮ったかのような画像を出力できるようになっていたがChatGPTのような便利なChatBotとして実践的に利用できるレベルではなかった。これはAIが学習時に追求している目的関数

[napsucks]

人手に頼らずフィードバックを自動化できるかどうかが発展のキモということか。でもそれってある種のシンギュラリティだよな。