はてなブックマーク

どんな論文かと言うと、大量のドキュメントから自ら学習し、文章の意味するところを定式化された表現に変換する言語モデルを獲得する、つまり自然言語のエンコーダーモデルの学習についての研究の論文です。これ実は私の博士論文のタイトル。 たいした成果も出せずに手仕舞いしてしまった研究ですが、私の博士課程時代の夢は、この数年間で達成されたと言って過言でありません。正直生きているうちにこんなことが実現されるとは思っていなかったので、驚くばかりです。何の話をしているとかと言うと、巷で話題のChatGPTのことであり、もっと正確に言うとその基盤となっているTransformerのことです。（以後、わかりやすくChatGPTとしてしまいます） 少し話を戻しますが、私の研究の出発点は、子どもの母国語の習得課程にありました。子どもは特殊な教育をしなくても周囲からのインプットだけで、数年のうちに母国語を習得することが