はてなブックマーク

2022年11月に公開されて以来、非常に話題になっている ChatGPT ですが、今回は ChatGPT で使われているモデル『InstructGPT』を解説したいと思います。 もともと OpenAI では 『GPT-3』 という巨大言語モデルを作り、それが一般の人にも API の形で公開されていました。 （2023年3月より ChatGPT の API も公開されています。詳しくはこちらをご参照ください ⇒ 「OpenAI 『ChatGPT』APIの使い方を解説」） GPT-3 では、人間が書いたものと区別がつかないようなニュースの文章を生成したり、いくつかの例示をするだけで人間のようにうまくタスクをこなしたり、アイデアを列挙したりと様々なことができるようになっています。 OpenAI GPT-3 APIの使い方を解説 2021年11月18日にOpenAIが「GPT-3」のウェイティング

さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデルである GPT-4 がリリースされ、ChatGPT Plus で利用できるようになっています。（月額20$） それ以降も画像データを処理できるようになったり、個人の好みを記憶できるようになったりと色々なアップデータがあってこの先どうなるんだろうと楽しみになりますね。 今回は、もともとの GPT-4 についてしっかりと解説したいと思います。 ちょっとした対話であれば GPT-3.5 でも GPT-4 でもそこまで大きな差はないように思えますが、GPT-4 に情報抽出や分類問題などのタスクを解かせようとすると、GPT-4 の方がかなり精度が良くなっていることがわかります。 ですので、より複雑な利用

今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常 ... まず、GPT-2論文の背景を説明しておきます。 2018年以降、ULMFiT、ELMo、OpenAI GPT、BERTと大規模な言語コーパスを使って教師なし学習で事前学習を行い、そのあとに特定のタスクについて教師あり学習でファインチューニングする手法により、目覚ましい成果があげられています。 しかしながら、これらのモデルもまだ数千や数万といった教師ありデータでファインチューニングしなければなりません。 人間については、そんなに大量のデータで学習しなくても、少しの追加の学習や手引きがあればタスクを解くことができます。 そこでGPT-2では、より人間に近い、汎用的に使えるモデルを構築する

2022年11月にOpenAIから“ChatGPT: Optimizing Language Models for Dialogue”というタイトルでChatGPTのアプリケーションが公開されました。 かなり話題になっているので知っている方や実際に使ったことがある方も多いかもしれませんが、ChatGPTとは、AI、特に自然言語処理の技術を使った対話のためのシステムといったところです。 今回はそのChatGPTの概要を簡単に説明し、ChatGPTが大学センター試験の英語を解いたら何点になるかを検証したいと思います。 私自身センター試験を受けたのは25年前ぐらいで、試験問題を解いたりする気にはならないので、基本的に答えが合っているか？だけを見ていきます。 深堀りしないので、そこはご容赦ください。 あと、下線を表現できないのどの問題があるので、ある程度質問の仕方を調整しています。 ですので厳密な

今回は、VQ-VAE(Vector Quantised-Variational AutoEncoder)を解説したいと思います。 VQ-VAEもVAE(Variational AutoEncoder)と同じで潜在変数を使った画像などの生成モデルです。 通常のVAEと違うところは、VAEでは潜在変数\(z\)が連続的なベクトルを取りましたが、VQ-VAEでは潜在変数が離散的なベクトルを取る点です。 画像や自然言語は本来離散的なもので、例えば「犬」から「猫」へ少しずつ変化していくものでありません。 ですので、潜在変数を離散的にすることは自然であると言えます。 では、以下の論文をもとに解説していきたいと思います。 『Neural Discrete Representation Learning』 最後にTensorflowで実装していますので、そちらも参考にしていただければと思います。 PyTo

今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデル ... CLIP(Contrastive Language-Image Pre-training)は、自然言語処理と画像処理を融合したモデルです。 大量の画像とテキストのペアをインターネットから取得し、巨大なモデルを学習することで、zero-shotの設定(初めて見た画像に対する分類等)で分類することが可能になっています。 以下は、ImageNetで学習したモデル(ResNet)とCLIP(Vision Transformerベース)の比較結果です。 上段のImageNetにある画像やImageNetに近い画像であればResNetでもある程度の精度が出ていますが、3段目より下になると精度が大

アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の"Personal"から"View API keys"をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 文

今回は、BERT や GPT3 などの言語モデルを評価する際に一般的に利用されている perplexity (パープレキシティ)について解説したいと思います。 ここでは、厳密な説明というよりは直観的にわかりやすく、論文等を読んでいてぱっとイメージが湧くような説明をしたいと思います。 言語モデルとは まず、言語モデルとは、ざっくり言うと次にどんな単語が出現する？かという確率を計算するモデルのことを言います。 これではわかりにくいので簡単な例で見てみましょう。 例えば「私は　犬が　好き です」という文章があるとします。 そして、「私は　犬が　好き (　　)」として、カッコの中に入る単語は以下のうちどれでしょう？という問題を考えます。 猫 です 行った 丸い 犬 日本語がある程度わかっている人であれば、文法的にも意味的にも2の「です」を選ぶのではないでしょうか。 これは、「?」に入る可能性の高い

GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。 BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか「関数形だけ確認しておこう」となることが多いかもしれません。 それでも実務上は十分かもしれませんが、一度ぐらいは見ておいて損はないと思いますので、論文に沿って考え方や実験の結果を確認していきたいと思います。 https://arxiv.org/abs/1606.08415 GELUの関数形 結論から言うと、GELUの関数形は以下で定義されます。 $$\text{GELU}(x)=x\Phi(x)$$ \(\Phi(\cdot)\)は標準正規分布の分布関数です。 どうしてこうしたのか？は後でご紹介したいと思います。 また、誤差関数(\(\text{erf}(\cd

Batch Normalization 解決したい問題 - Internal Covariate Shift まず、Batch Normalizationで解決したい問題から説明したいと思います。 例えば、以下の図のように学習データとテストデータで特徴量の分布が違うということがしばしばあります。 この場合、学習データで多くみられた特徴量の値の領域ではテストデータの評価もうまくできる可能性が高いですが、学習データではあまり取らなかった値の領域を取るテストデータが多くなっていると、テストデータをうまく評価することができません。 これをCovariate Shiftと呼び(少し粗い説明にはなっています)、このCovariate Shiftを解決することをDomain Adaption(ドメイン適応)と呼んでいます。 さらに、ディープ・ラーニングではレイヤを何層も積み重ねます。 例えば2番目のレイ

2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ...　『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G

(以下は Transformer を理解している必要がありますので、まだの方はスキップしていただいても構いません) まずは、単語の位置情報を表す Positional Encoding です。 もとの Transformer と同じで、単語の埋め込み表現に位置情報を足します。 $$\begin{align} h_0 = UW_e + W_p \end{align}$$ \(W_e\)が単語の埋め込み表現の行列、\(W_p\)が位置情報を埋め込む行列です。 ただし、GPTでは、\(W_p\) はオリジナルの Transformer の論文のように \(\sin\)・\(\cos\) を使った方法ではなく、\(W_p\) もデータから学習します。 次のレイヤーですが、Transformer と言っても、ここでは encoder-decoder を使った Transformer ではなく、dec

自然言語処理を独学したいと思っても、なかなかどの本を読めばわからない方も多いと思います。 また、本を買って勉強しようと思ったものの、難しすぎて挫折したという方もいると思います。 ということで、今回は自然言語処理を勉強する上で、個人的に役に立った本について、レベルごとに紹介したいと思います。 多すぎても選びにくくなると思いますので、レベルごとに2~3冊に絞っています。 では、順番にご紹介したいと思います。 機械学習入門編 機械学習についてある程度基礎知識がないと難しいですので、まずは最低限の機械学習の理解をするための本をご紹介します。 どの順番に読んでもいいですが、まずは手を動かすはじめの2冊がオススメです。 『［第2版］Python機械学習プログラミング 達人データサイエンティストによる理論と実践 impress top gearシリーズ』 Pythonを使った機械学習の定番の本ですね。

今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処理の技術を応用する点です。 一般的な画像分類では、たくさんの画像を用意して、それぞれ対して犬、猫、リンゴ、などのラベルをつけます。 それを教師データとして学習します。 しかしながら、その方法には以下のような問題点があります。 ラベル付けに非常にコストがかかる。ラベルの種類が限定的で、学習対象の種類についてはうまく分類できるが、初めて見る対象(例えば、犬と猫を学習して、果物を分類するなど)については分類精度が低い。 CLIPでは、こういった問題に取り組んでいきます。 ちなみに、CLIPはモデルの仕組みではなく事前学習方法ですので、モデル自体はResNetやVisi

今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文ですので、最後まで読んでいただけると幸いです。 特に「Synthetic and Qualitative Tasks」の節は驚きの結果になっています。 なお、2023年3月には GPT-4 が公表されましたので、こちらも参考にしていただければと思います。 『【論文解説】GPT-4 を理解する』 GPT-3とは ではまずGPT-3の特徴を簡単に説明します。 GPT3はOpenAIから2020年に以下の論文で発表されました。 『Language Models are Few-Shot Learners』 GPT、GPT-2に続く3番目のモデルですが、モデルの仕組み自体

さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデル ... OpenAI 『ChatGPT』APIの使い方を解説 非常に話題になっている ChatGPT ですが、OpenAI のWebサイトにアクセスして使うのではなく、API の形で Python を使って利用する方法を解説しています。 これがわかれば、自分で GPT を使ったチャットシステムを作ることができます。

では、今回は2017年に論文「Attention Is All You Need」で提案された “Transformer” について詳しく解説したいと思います。 『Attention is All You Need』 Transformer とは、ChatGPT (GPT-4 などのGPT シリーズ) を含む重要な LLM (Large Language Model; 大規模言語モデル) や、BERT などのファインチューニングをすることによって高い精度を得ることができるモデルなど、現在重要な自然言語処理モデルで幅広く使われている重要な仕組みです。 ですので、自然言語処理を学ぶ人、業務で LLM を使って開発する人などは是非押さえておきたいモデルです 。 モデルの構造は知っているので、どのように実装するかを知りたい、という方は以下の記事をご参照ください。 Tensorflowを使ってセンチ