はてなブックマーク

やったこと https://github.com/yoheikikuta/bert-japanese をフォークしましてモデルをALBERTに差し替えて学習しました。(bert-japaneseを公開してくださったKikutaさまとalbertのコードを公開してくださったGoogleさま、本当にありがとうございます。) Wikipedia日本語版データを使っています。 ここをご覧の皆様はすでにご存知だと思いますが、ALBERTは以下の論文に記載されています。 きっかけ 「BERT、高性能だけどモデルのサイズでかいよね」ということを感じていました。加えて(私事ですが)、最近会社を起こしまして「ようやく好きなことができる！」という開放感も手伝って作業しました。こちらの作業は会社の活動として実施したものです(PR)。 性能 readmeにも書きましたがLivedoorコーパスでBERTと遜色ない