BERTの事前訓練をColabで動かしてみました（『Transformerによる自然言語処理』3章写経） - nikkie-ftnextの日記
はじめに 「彼と出会った瞬間、私の人生が変わったの。（略） 世界が輝きだしたの」 （『四月は君の嘘』より） 四月は君の嘘 / alu.jp えぬえるぴーや1のnikkieです。 いやー、BERTは自然言語処理の世界を変えてしまいましたねー！ 「そんなBERTをもっと知りたい！」と、この週末『Transformerによる自然言語処理』の写経に取り組みました2。 目次 はじめに 目次 『Transformerによる自然言語処理』 3章 RoBERTaモデルのゼロからの事前訓練 RoBERTa事前訓練を写経 動作環境 RoBERTa事前訓練の流れ fill-maskタスクで事前訓練の確認 「考えながら写経」5のメモ 終わりに 補足: この記事を書いた時点のnikkieの認識 『Transformerによる自然言語処理』 この4月に朝倉書店さんから出版された翻訳書です。 自然言語処理の世界に革命を
huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる - Qiita
huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる自然言語処理PyTorchberttransformershuggingface はじめに huggingfaceのtransformersのライブラリを使ってBERTの事前学習をやってみました。日本語でBERTの事前学習をスクラッチで行っている記事が現段階であまり見当たらなかったですが、一通り動かすことができたので、メモがてら残しておきます。 BERTの事前学習をしてみたいけど、いまいちやり方がわからない人の一助になれば幸いです。 正直まだわかっていないところが多々ありますし、紹介する内容がセオリーな方法かもよくわかっていません。 あれこれ試している最中ですので、もっとこうしたほうがいいよ、みたいなアドバイスございましたらご教示いただけると幸いです！ 参考文献
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
