gpt2-japaneseのmediumモデルで架空のNAIST生をD進させてD進後の状況を独白してもらう - Seitaro Shinagawaの雑記帳
こんにちは、品川です。 最近仕事でGPT-2,3について調べてたのですが、日本語GPT-2を作っているプロジェクトのことを知りました。 github.com 見てみると学習済みモデル(small, medium)が公開済みで、fine-tuning用のコードなども揃っておりいたく感動しました。 本記事は生成結果をぜひみてみたいということで試してみたという趣旨の記事になります。 使い方は上記リポジトリのREADMEを読んでいただければ良いかと思います。 contextをオプションで指定することで、contextに沿った生成が可能とのこと。なるほど、ならば架空のNAIST生をD進させてD進後の状況を独白してもらうことも可能・・・？ 早速試してみる（この結果はフィクションです） python gpt2-generate.py \ --model gpt2ja-medium \ --num_gen
言語生成の強化学習をやっていく（手法紹介 REINFORCE編） - Seitaro Shinagawaの雑記帳
この記事は強化学習苦手の会 Advent Calendar 2020の3日目の記事です。 2020.12.04 追記 はじめに サーベイ論文の概要 言語生成モデルのおさらい 言語生成における強化学習 （前提知識） エピソード 報酬 学習における立ち位置 言語生成の強化学習 壱ノ型 「REINFORCE（方策勾配法による最適化）」 1エピソードで最適化するのか？ステップごとに最適化するのか？ 解釈？ REINFORCEの派生手法：Self-Critic (SC) models 免責事項：載せている式は論文からの引用ではなく、自分の理解で書いたものが含まれますので、サーベイ論文の紹介と言っても論文の内容をそのまま写しているわけではありません。気になるところがあれば原論文をご確認することを勧めます。 2020.12.04 追記 REINFORCEの式が間違ってたので修正しました。 （誤）$\na
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
