ダウンロード数10万超えの言語モデルを作成した件について - Qiita

こんにちにゃんです。 水色桜（みずいろさくら）です。 ダウンロード数が100,000を超える言語モデルを作成したので、その作成の様子などについて書いていこうと思います。 作成したモデルはこちらのサイトで公開していますので、もしよろしければ使ってみてください。 固有表現抽出を行うことができます。 今回も初心者でもたった２ステップ（ステップ１：必要なライブラリのダウンロード、ステップ２：コードのコピペ）で簡単に使えるようにしてあります。 環境 torch 1.12.1 transformers 4.24.0 Python 3.9.13 sentencepiece 0.1.97 transformersのバージョンが古いとMLukeTokenizer, LukeForTokenClassificationが含まれていないので注意してください。（上記のバージョンまでアップデートしてください） LU