【初心者向け】BERTのtokenizerについて理解する

BERTすごいですね。 BERTモデルは、2018年にGoogle社が開発し、自然言語処理の世界でブレークスルーをつくったと言われています。 BERTはGLUEという英語の言語理解を評価するタスクにおいて、当時の記録を一気に塗り替えました。また、Google検索においてもBERTを導入したことにより、飛躍的に精度が上がりました。 こんな素晴らしいBERTですが、初心者が一発で理解するのは少し大変な印象をもっています。 そこで、BERTを初めて扱う方に向けて、以下の書籍を参考にしながら、基本的なコードの書き方と、それぞれのコードが具体的にどのような処理を行っているのかを丁寧に解説していきたいと思います。 私自身もまだまだ初心者の域を出ませんが、BERTについて一緒に勉強できればなと思います。 なお、BERTの理論については深堀りしませんので、興味のある方は専門書や専門サイトをご覧いただければ