BERTの埋め込み空間の可視化を最速で

BERTのtoken embeddings(入力部分にある単語id->単語埋め込みに変換する層)の埋め込み空間の可視化をやったので、手順をまとめた。 文脈化単語埋め込みの方(BERTの出力ベクトル)の可視化も似たような手順でできると思う。 今回は東北大の乾研の方が公開されている日本語BERT(cl-tohoku/bert-base-japanese-whole-word-masking)を利用した。 使用する技術は主に以下。 huggingface/transformers: 事前学習済みモデルの利用 holoviews: 可視化まとめツール t-SNE: 次元削減 poetry: パッケージマネージャ 環境構築 poetryでいい感じにやった。 以下のpyproject.tomlをコピペしてpoetry installすればよさそう。 [tool.poetry] name = "hoge

[sh19910711]

"BERTのtoken embeddings(入力部分にある単語id->単語埋め込みに変換する層)の埋め込み空間の可視化 / model.get_input_embeddings()で nn.Embeddingのインスタンスが取れる" / 2021

[masahiko_of_joytoy]

“get_input_embeddings”