汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita

今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER

[chikoshoot]

パイタッ…パイトーチね。

[knok]

日本語だと単語分割をどうやるかで変わってくるので、これ一つの事前学習モデルがあればオッケー、とはいかないのが辛いところ

[h_taiji]

理解できるところがすごいな〜

[nilab]

汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita

[kyopeco]

BERT系の記事の中では一番わかりやすいかも。

[knaka20blue]

“マスクされた単語を周辺情報から予測することを事前学習タスクとしました。 従来、モデルの中に暗黙的に組み込まれていたマスクを、学習データのほうで直にマスク(または別単語に置換)したことで代替したのです。

[Nyoho]

self-attention 解説あり

[tune]

頑張って読んだがよくわからない。頭だけでなく手も動かさないとダメだな

[RabbitBit]

大量の計算資源を必要とする富豪的アルゴリズムやわ。「ネットワークのチューニングから学習タスクのチューニングへ」のムーブメントはありそうなので、注視していきたい。

[tick2tack]

“今後はネットワーク(脳)のチューニングから、学習タスク(教育)のチューニングに重きが移りそう”

[zgmf-x20a]

SOTAって何だろうと思ったら最高得点の事か…(^^;;

[salamander_jp]

完全に理解した

[kyukyunyorituryo]

青空文庫からデータセットを作れるかな。単語単位で分割するために形態素解析が必要？

[blueboy]

これじゃ、原理的に「理解」はできないね。「理解」をするためには、「等価」とか「否定」とか「包含」を構造的に取得することが必要だが、それができていない。せいぜい、人間向けのテストで高得点が取れるだけだ。

[YaSuYuKi]

実際に、使用したい明確な目的があるので、きちんと調べておく

[isrc]

憶測の域を出ませんが、より人間に近い形で、重層的な言語認知(注意)をしているのではないかと考えています。その中には構文解析的な認知状態や、まだ人間が定義できていない新しい認知状態も含まれるかもしれません

[klear]

“今後はネットワーク(脳)のチューニングから、学習タスク(教育)のチューニングに重きが移りそう”

[R2M]

「BERTはマスク単語予測と、隣接文予測というふたつのタスクを事前学習することにより、従来のタスク特化型のモデルに負けず、諸々のベースラインタスクで圧倒的な性能を示しました」