はてなブックマーク

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第２回、BERTの可視化実験を紹介します。 BERTの枠組みで学習したTransformer (Self-Attention) が、入力系列のどこを注目しているのか、を可視化し、解釈を試みます。 先月ぐらいに、政府が考えるAIの7原則が記事になっていました。 その中に、「企業に決定過程の説明責任」というものがあり、一部で話題になっていたと記憶しています（批判が多かった印象）。 日本の戦略を考えると、量で質をカバーする方法では、もはや米国、中国には叶わないということもありそうなので、 仮に少量でも、日本らしい？質（==説明責任による安心・安全）を担保して差異化を図りたい、という流れになるのかもしれません。 ということで、説明責任に繋がるといいなぁという願いを込めて、BERTのアテンションの可視化