【自然言語処理】日本語GPT-2モデルをファインチューニングして文章生成をやってみる
はじめに 2022年11月にOpenAIが公開したchatGPTの反響が凄いですね。 公開6日目にして100万人がユーザー登録したとか。 今のところは、無料で使うことができますが、いずれは利用が制限されるかもしれませんね。 ここでは、chatGPTよりは精度が落ちますが、無料で使うことができて、日本語に特化した事前学習済みモデルもあるGPT-2を採り上げ、文章生成にチャレンジしたいと思います。 具体的にはrinna社が開発したGPT-2モデルを使用します。 事前学習済みモデルだけでもそれなりの文章を生成できますが、せっかくなので、特定のドメインでファインチューニングさせてみて、文章生成をしていきたいと思います。 rinna社の日本語GPT-2の特徴 言語モデルは、会話や文章の「人間が使う言葉」を確率としてモデル化したものです。優れた言語モデルとは、確率を正確に推定できるものを指します。例え
GPT-3で遊んでみた - Qiita
昨日の@hcpmiyukiさんの記事では、Supabaseという今あついBaaSについて書いてくれました！ MYJLab Advent Calendar 2021の3日目はGPT-3に関してです 論文を要約してAPIで遊びます GPT-3とは イーロン・マスク氏が共同会長を務める非営利のAI研究企業であるOpenAIが発表した、汎用言語モデルの3世代目です ネット上のテキストの次の単語を予測するためだけに訓練されたTransformerベースの自己回帰言語モデルで、なんと1750億個のパラメータで動作するそうです あまりの精度の高さに以前話題沸騰でした This is mind blowing. With GPT-3, I built a layout generator where you just describe any layout you want, and it generat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
