HuggingFace(BERT)モデルをtransformers-interpretで解釈する - Qiita

0. はじめに 今回はBERTの解釈としてtransformers-interpretを試したのでメモがてら記載しておく。 動作環境 OS : Windows10 pro python： 3.9.6 transformers： 4.23.1 Pytorch： 1.12.1 (+cu116) transformers-interpret： 0.9.5 GPU： RTX 2060 jupyter notebook(vscode) 1. transformers-interpretでBERTのマルチクラス分類を解釈する transformers-interpretとは、PyTorch用のモデル解釈ライブラリ 「Captum」を使用したTransformers専用のライブラリ。 SHAP等の解釈モデルと違い、Transformers専用にチューンされているので使いやすい 1-1. Captumとは

[sh19910711]

"transformers-interpret: モデル解釈ライブラリ 「Captum」を使用 + SHAP等の解釈モデルと違い、Transformers専用にチューンされている / Captum: torchvisionやtorchtextなどのドメイン固有ライブラリで構築されたモデルを素早く解釈"