OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説
AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解説しています。 The GPT-3 Architecture, on a Napkin https://dugas.ch/artificial_curiosity/GPT_architecture.html ◆入力／出力 まずGPTの「入力」とは一連のN個の単語のことで、「(入力)トークン」とも呼ばれます。そして、GPTの「出力」とは、入力トークンの最後に配置される可能性が最も高いと推測される単語です。例えば「not all heroes wear(すべてのヒーロ
Livebook で Bumblebee から GPT2 を使って文章の続きを生成する - Qiita
はじめに Bumblebee の公式サンプルに従ってモデルを実行してみるシリーズです 今回は GPT2 という自然言語処理 AI モデルを使って、途中まで書かれた文章の続きを生成します このシリーズの記事 画像分類: ResNet50 画像生成: Stable Diffusion 文章の穴埋め: BERT 文章の判別: BERTweet 文章の生成: GPT2 (ここ) 質疑応答: RoBERTa 固有名詞の抽出: bert-base-NER Bumblebee の公式サンプル 実装の全文はこちら 実行環境 MacBook Pro 13 inchi 2.4 GHz クアッドコアIntel Core i5 16 GB 2133 MHz LPDDR3 macOS Ventura 13.0.1 Rancher Desktop 1.6.2 メモリ割り当て 12 GB CPU 割り当て 6 コア L
話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
