サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
猛暑に注意を
www.bcm.co.jp
今回は、OpenAIの大規模教師なし言語モデルGPT-2の実験成果について紹介する[1-3]。この言語モデルでは、タスクに特化した学習の必要がなく、首尾一貫した複数の段落からなる一連の文章を生成でき、初歩的な文章理解、機械翻訳、質問応答、要約ができる。 GPT-2 GPT-2は、800万Webページのインターネット文章（40GB）から次の文章を予測するように訓練されるだけである。GPT-2には、15億個のパラメータがあるという。4Bが1語だとすると、40GBは100憶語になるから、15語で１文が構成されると仮定すると、約6億7千万文の訓練データがあるともいえる。 GPT-2のモデルは、与えられた文章に含まれる単語から次の単語を予測するという単純なものである。GPT-2では、先代のGPTからパラメータと訓練データセットをそれぞれ10倍以上にしている。 GPT-2は、ドメイン固有の訓練データセ
お客様各位 ビジネスコミュニケーションのWebサイトをご利用いただき、ありがとうございます。 開設以来、多くの皆さまにご利用いただきましたが、 「月刊ビジネスコミュニケーション」の休刊に伴い、2024年10月31日を持ちまして、閉鎖させていただきました。 これまでご愛顧賜りました皆さまに、心より感謝申し上げます。 長らくのご愛顧誠にありがとうございました。
次のページ
このページを最初にブックマークしてみませんか？
『Webサイト閉鎖のお知らせ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
