“LLM の評価は非常に困難であり、学術的なベンチマークは失敗する可能性があります。...モデルの Elo レーティングを計算するという新しいアプローチを採用しています。”

自然言語処理

misshiki のブックマーク 2023/05/08 17:18

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4736201155139601509/comment/misshiki" data-user-id="misshiki" data-entry-url="https://b.hatena.ne.jp/entry/s/twitter.com/lmsysorg/status/1653843200975704069" data-original-href="https://twitter.com/lmsysorg/status/1653843200975704069" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Ftwitter.com%2Flmsysorg%2Fstatus%2F1653843200975704069" data-user-icon="/users/misshiki/profile.png">https://twitter.com/lmsysorg/status/1653843200975704069</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86">自然言語処理</a>]</li></ul><br><p style="clear: left">“LLM の評価は非常に困難であり、学術的なベンチマークは失敗する可能性があります。...モデルの Elo レーティングを計算するという新しいアプローチを採用しています。”</p><a class="datetime" href="https://b.hatena.ne.jp/misshiki/20230508#bookmark-4736201155139601509"><span class="datetime-body">2023/05/08 17:18</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

https://twitter.com/lmsysorg/status/1653843200975704069

twitter.com/lmsysorg2023/05/08

1 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

https://twitter.com/lmsysorg/status/1653843200975704069

はてなブックマーク

公式Twitter

はてなのサービス