3. どうやってモデルを比較したのか 上記の比較結果を出すために、 LMDiff というツールを利用しました。 トークナイザーが一致している二つの言語モデル(gpt系やbert系)と、テキストのデータセットをこのツールに入力することで、簡単に比較を行うことができます。 このツールには二種類の分析手法があります。 一つ目が、データセットレベルでの分析手法です。複数の文章を対象にモデルを比較することで、特に予測結果の差が大きかった文を確認することができます。 二つ目が、文レベルでの分析手法です。一つの文を対象にモデルを比較することで、特に予測結果の差が大きかったトークンを確認することができます。 以下の章で、分析手法の詳細について説明します。 データセットレベルでの分析 一つ目は、複数の文章から構成されるデータセットを元に、二つのモデルの性能を比較する手法です。 文章中の各文に対する、二つのモ
![もうモデル選びには迷わない!? 言語モデルを簡単に比較する手法について - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/be92172b130838bc1f3ce16d121e0516ca2075a1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgyJTgyJUUzJTgxJTg2JUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUU5JTgxJUI4JUUzJTgxJUIzJUUzJTgxJUFCJUUzJTgxJUFGJUU4JUJGJUI3JUUzJTgyJThGJUUzJTgxJUFBJUUzJTgxJTg0JTIxJTNGJTIwJUU4JUE4JTgwJUU4JUFBJTlFJUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUUzJTgyJTkyJUU3JUIwJUExJUU1JThEJTk4JUUzJTgxJUFCJUU2JUFGJTk0JUU4JUJDJTgzJUUzJTgxJTk5JUUzJTgyJThCJUU2JTg5JThCJUU2JUIzJTk1JUUzJTgxJUFCJUUzJTgxJUE0JUUzJTgxJTg0JUUzJTgxJUE2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hMjIxYzY5MjYyNzNkMGNmNjg5MDc3MDAzZTIwNWQzNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBhcmFraXJ5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02ZjA0ZThkNmU5MzI2MzllYjZmY2JhMmRlOTZlZTkxZg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D76278e1d095b0b0e1d473d7198de574a)