英語を母語としない人が書いた文章が「AIにより作成されたもの」と誤検知されている

ChatGPTやBardのような高度な文章作成能力を有するチャットAIの登場により、「AIが作成した文章」を判別するためのツールが求められるようになっており、日本の企業もChatGPTの文章を判別するためのソフトウェアを開発したことが報じられています。しかし、この種のツールは英語を母語としない人が書いた文章を「AIにより作成されたもの」と判別してしまうことが最新の研究により明らかになりました。 GPT detectors are biased against non-native English writers: Patterns https://www.cell.com/patterns/fulltext/S2666-3899(23)00130-7 Programs to detect AI discriminate against non-native English speakers

[nakex1]

慣れない言語を使うとき，あるいは母語でも詳しくない分野について書くときなども，詳しくない人がまじめにやろうとするほど教科書に忠実な記述が増えるかもな。

[kuchitoki]

機械が人間のふりをするのを機械で見破ることはできない、と。これは人間の勝利なのか敗北なのか。

[sutego386]

人間が書いた日本語テキストを英語にAI翻訳した結果はどうなるのかな？

[machida77]

俺はAIだった…？みたいな自我に悩む日が来てしまう

[cinefuk]

"人間が文章を作成する場合であっても、テキスト困惑度が低くなるような単語を選ぶと、文章が「AIにより作成されたもの」と判別されてしまう。「英語を母語としない人はより単純な単語を選ぶ傾向があるため」"

[sumika_09]

その英文、母語で書いたものを機械翻訳してない？

[NOV1975]

ようは、人間らしさを判定する基準が間違ってるってことだよな。チューリングテストの逆って考えるとわかんなくて当然よ。

[rgfx]

こんな現実突きつけられたら泣いちゃう

[misshiki]

“この種のツールは英語を母語としない人が書いた文章を「AIにより作成されたもの」と判別してしまうことが最新の研究により明らかになりました。”

[filinion]

日本人が「AIの活用で英文の作成効率が爆上がりした！」とか言ってる一方、英語圏ではこんな感じである。AI時代は英語話者が有利になるという予測は以前からあったが、まさかこんな形になるとは…。

[cive]

未来の日本 ☺️🇯🇵<This is a pen. 🤖<... Are you AI?

[hachibeechan]

ワイのゴミ英語が

[ooblog]

#AI #LLM #ChatGPT #英語 #再翻訳 #エントロピー 「テキスト困惑度~冤罪をかけられるリスク~ChatGPTに書き直させ~再びAIテキスト検出~すべて「人間が書いたエッセイ」と判別」ラテン語圏名詞LGBT想定外で裁判沙汰の匂いがするな…!

[atsushieno]

やー、これ母語で書いたものを機械翻訳されたものを評価して…みたいな因果関係もありそうで妥当性の判断が難しいな（論文の内容をgrepした程度なので見落としはあるかもしれないがその辺の言及は無さそう）

[anonruru]

日本語の場合、現状はAIが書いたものでも英語から日本語に翻訳したような言い回しがちらほら見られるように思うので、英語もちょっとそんな感じの文章になってるのかな？

[koroha-a]

AIよりインテリジェンスが低くて申し訳ない…

[spiro_bi]

"However, upon prompting ChatGPT to self-edit its text with more literary language (prompt: “Elevate the provided text by employing literary language”), detection rates plummeted to near zero (Figure 2)." https://www.cell.com/patterns/fulltext/S2666-3899(23)00130-7