はてなブックマーク

今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT–3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文ですので、最後まで読んでいただけると幸いです。 特に「Synthetic and Qualitative Tasks」の節は驚きの結果になっています。 GPT–3とは ではまずGPT–3の特徴を簡単に説明します。 GPT–3はOpenAIから2020年に以下の論文で発表されました。 『Language Models are Few-Shot Learners』 GPT、GPT–2に続く3番目のモデルですが、モデルの仕組み自体はGPT2と同じでTransformerベースのモデルになっており、2018年からそれほど目新しい変化はありません。 何が違うかというと、GP

OpenAI 『CLIP』 自然言語処理と画像処理が融合しました。 画像処理のラベルに自然言語情報を使い、巨大コーパスで学習しています。 これにより初めての見るデータセットでも非常に精度が高いモデルが出来ています。

では、今回は2017年に論文「Attention Is All You Need」で提案された“Transformer”について詳しく解説したいと思います。 The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performi... Transformerとは自然言語処理において、現時点ではもっとも成果を挙げているモデルであるBERTやXLNetで使われている重要な仕組みです。 ですので、自然言語処理を学ぶ、業務で使う人は是非押さえておきたいモデルです 。 モデルの構造は知っているので、どのように実装するかを知りたい、という方は以下の記事をご