もうモデル選びには迷わない!? 言語モデルを簡単に比較する手法について - Qiita3. どうやってモデルを比較したのか 上記の比較結果を出すために、 LMDiff というツールを利用しました。 トークナイザーが一致している二つの言語モデル（gpt系やbert系）と、テキストのデータセットをこのツールに入力することで、簡単に比較を行うことができます。 このツールには二種類の分析手法があります。 一つ目が、データセットレベルでの分析手法です。複数の文章を対象にモデルを比較することで、特に予測結果の差が大きかった文を確認することができます。 二つ目が、文レベルでの分析手法です。一つの文を対象にモデルを比較することで、特に予測結果の差が大きかったトークンを確認することができます。 以下の章で、分析手法の詳細について説明します。 データセットレベルでの分析 一つ目は、複数の文章から構成されるデータセットを元に、二つのモデルの性能を比較する手法です。 文章中の各文に対する、二つのモ
