GPT-4がtrainでtestしている疑惑。学習データのカットオフ前後で競技プログラミングの成績が全然違うなど。データコンタミへの対策・モデル評価がずさんなのではないかという指摘。

xefxef のブックマーク 2023/03/22 17:54

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

GPT-4 and professional benchmarks: the wrong answer to the wrong question

    OpenAI didn’t release much information about GPT-4 — not even the size of the model — but heavily emphasized its performance on professional licensing exams and other standardized tests. For instan...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう