エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
もうモデル選びには迷わない!? 言語モデルを簡単に比較する手法について - Qiita
3. どうやってモデルを比較したのか 上記の比較結果を出すために、 LMDiff というツールを利用しました... 3. どうやってモデルを比較したのか 上記の比較結果を出すために、 LMDiff というツールを利用しました。 トークナイザーが一致している二つの言語モデル(gpt系やbert系)と、テキストのデータセットをこのツールに入力することで、簡単に比較を行うことができます。 このツールには二種類の分析手法があります。 一つ目が、データセットレベルでの分析手法です。複数の文章を対象にモデルを比較することで、特に予測結果の差が大きかった文を確認することができます。 二つ目が、文レベルでの分析手法です。一つの文を対象にモデルを比較することで、特に予測結果の差が大きかったトークンを確認することができます。 以下の章で、分析手法の詳細について説明します。 データセットレベルでの分析 一つ目は、複数の文章から構成されるデータセットを元に、二つのモデルの性能を比較する手法です。 文章中の各文に対する、二つのモ
2022/02/07 リンク