サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
どうなる？Twitter
data-analytics.fun
2022年11月にOpenAIから“ChatGPT: Optimizing Language Models for Dialogue”というタイトルでChatGPTのアプリケーションが公開されました。 かなり話題になっているので知っている方や実際に使ったことがある方も多いかもしれませんが、ChatGPTとは、AI、特に自然言語処理の技術を使った対話のためのシステムといったところです。 今回はそのChatGPTの概要を簡単に説明し、ChatGPTが大学センター試験の英語を解いたら何点になるかを検証したいと思います。 私自身センター試験を受けたのは25年前ぐらいで、試験問題を解いたりする気にはならないので、基本的に答えが合っているか？だけを見ていきます。 深堀りしないので、そこはご容赦ください。 あと、下線を表現できないのどの問題があるので、ある程度質問の仕方を調整しています。 ですので厳密な
Diffusion Modelの概要 まずは、diffusion modelのざっくりとした概要について説明したいと思います。 forward processとreverse process diffusion modelは、以下の図のように(1) forward processと(2) reverse processの2つの過程を考えます。 forward processは画像にノイズを加えていって、最終的にはノイズだけになる確率過程です。 一方のreverse processはforward processの逆で、ノイズから画像になっていく確率過程です。 つまり、画像にノイズを加えていって、最終的にノイズのみになる確率過程を考え、その逆をたどることでノイズから画像を生成することができる、というものです。 こちらはさらにざっくりイメージです。 forward processとrevers
アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の”Personal”から”View API keys”をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 で
GPT-1bの概要 ここでは、GPT2-mediumとの比較を中心にGPT-1bの概要を説明したいと思います。 GPT-1bの事前学習に使ったデータセットはこちらです。 Japanese C4Japanese CC-100Japanese Wikipedia GPT2-mediumで使ったデータセットからJapanese C4というデータセットが追加されています。 C4データセット(Colossal Clean Crawled Corpus)はGoogleのTransformerベースのモデルであるT5(Text-to-Text Transfer Transformer)で使われた“Webから収集された文章を集めたデータセット”で、その日本語のデータになります。 そして、パラメータ数はGPT2-mediumの3億強から13億に増えています。 レイヤは同じ24ですが、埋め込みの次元が1024
今回は、『BART(Bidirectional Auto-Regressive Transformer)』を解説したいと思います。 簡単に言うと、BARTはBERTをSequence-to-Sequence(Seq2Seq)の形にしたものです。 ですので、モデルの仕組みは当初のTransformer論文で提案された形に近くなっています。 このSeq2Seqの仕組みにより、機械翻訳(Machine Translation)や文書の要約(Document Summarization)にも適用することが可能です。 そして、RoBERTaと同じデータセットで学習することで、分類タスクの精度はRoBERTaと同程度、文章生成系のタスクでは過去のモデルをアウトパフォームするという結果が出ています。 では、詳細を見ていきましょう。 論文はこちらです。 『BART: Denoising Sequence-
機械学習入門編 機械学習についてある程度基礎知識がないと難しいですので、まずは最低限の機械学習の理解をするための本をご紹介します。 どの順番に読んでもいいですが、まずは手を動かすはじめの2冊がオススメです。 『［第2版］Python機械学習プログラミング 達人データサイエンティストによる理論と実践 impress top gearシリーズ』 Pythonを使った機械学習の定番の本ですね。 機械学習をこれから勉強する！という方に最適です。 非常にわかりやすく、パーセプトロンからしっかりと説明されています。 また理論だけでなく、実際にScikit-Learnなどを使って実装しますので、PythonやScikit-Learnについても理解することができます。 自然言語処理についても、Bag-of-WordsやTF-IDFについては説明されており、本格的に自然言語処理を勉強する前に読んでおくと良い
今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処理の技術を応用する点です。 一般的な画像分類では、たくさんの画像を用意して、それぞれ対して犬、猫、リンゴ、などのラベルをつけます。 それを教師データとして学習します。 しかしながら、その方法には以下のような問題点があります。 ラベル付けに非常にコストがかかる。ラベルの種類が限定的で、学習対象の種類についてはうまく分類できるが、初めて見る対象(例えば、犬と猫を学習して、果物を分類するなど)については分類精度が低い。 CLIPでは、こういった問題に取り組んでいきます。 ちなみに、CLIPはモデルの仕組みではなく事前学習方法ですので、モデル自体はResNetやVisi
今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT–3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文ですので、最後まで読んでいただけると幸いです。 特に「Synthetic and Qualitative Tasks」の節は驚きの結果になっています。 GPT–3とは ではまずGPT–3の特徴を簡単に説明します。 GPT3はOpenAIから2020年に以下の論文で発表されました。 『Language Models are Few-Shot Learners』 GPT、GPT–2に続く3番目のモデルですが、モデルの仕組み自体はGPT2と同じでTransformerベースのモデルになっており、2018年からそれほど目新しい変化はありません。 何が違うかというと、GPT
Streamlitのまとめ記事 最近、非常に人気が出てきているWebアプリ開発、ダッシュボード作成のためのフレームワークStreamlit。 この記事では、過去の記事をまとめてご紹介しています。 Streamlitの基本から様々な機能を紹介していますので、見て気になる機能があればチェックしてみてください。
では、今回は2017年に論文「Attention Is All You Need」で提案された“Transformer”について詳しく解説したいと思います。 The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performi... Transformerとは自然言語処理において、現時点ではもっとも成果を挙げているモデルであるBERTやXLNetで使われている重要な仕組みです。 ですので、自然言語処理を学ぶ、業務で使う人は是非押さえておきたいモデルです 。 モデルの構造は知っているので、どのように実装するかを知りたい、という方は以下の記事をご
このページを最初にブックマークしてみませんか？
『楽しみながら理解するAI・機械学習入門』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
