ChatGPTはクラウドワーカーより優秀か データのラベル付け作業で検証 結果は？

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 スイスのチューリッヒ大学に所属する研究者らが発表した論文「ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks」は、機械学習向け大規模データセットを作成するためのラベル付け作業（アノテーション）において、ChatGPTと人ではどちらがパフォーマンスが良いかを検証した研究報告である。 多くの機械学習モデルでは、学習やテストを行うために高品質なラベル付きデータを必要とする。科学の進歩のため、研究者が特定分野の大規模なラベル付きデータセットを作成して公開する。あとの研究者らは、このデータセット

[shunkeen]

他のモデルの学習にOpenAIのモデルの出力を使うのは規約違反だったような気がするが、この使い方はOKなのだろうか。モデルの蒸留とかやりたい放題になりそう。

[asuka0801]

人間によるアノテーション作業より GPTの方が優秀ってのも面白い話だなぉ

[misshiki]

“結果から、サンプル全体のアノテーションや教師あり学習のための大規模データセットをChatGPTを用いて低コストで作ることができる可能性を示唆”

[trace22]

家族の問題とか色々故あってクラウドワークで細々稼ぐことを余儀なくされているような人もいるけど、そういうところから仕事がなくなっていくんかね

[yojik]

“教師あり学習のための大規模データセットをChatGPTを用いて低コストで作る” これをやり始めたら堂々巡りになっちゃわない?

[homarara]

Excelは大抵の社員より優秀って感じのお馬鹿。

[fnskun]

“ChatGPTでは約68ドル（2万5264アノテーション）、MTurkでは657ドル（1万2632アノテーション）。”

[Seamless]

機械学習モデルの大規模学習データセット作成のためのラベル付け作業をChatGPTとAmazon Mechanical Turkから世界中の人に依頼した。結果,ChatGPTの方が2,3倍高精度で20倍安くついた。