グーグルの「ヘイト監視AI」が人種差別を助長する皮肉な結果 | Forbes JAPAN 公式サイト（フォーブス ジャパン）

グーグルは2016年にSNSやウェブサイト上の、ヘイトスピーチを監視するAI（人工知能）アルゴリズムを開発した。しかし、このAIが全く逆の結果をもたらし、人種的偏見を助長するものあることが発覚した。 アルゴリズムにヘイト発言を学習させるため、グーグルはPerspectiveと呼ばれるAPIで「有害」のラベルづけをした10万件以上のツイートを用意した。有害な発言の定義は「侮辱的な内容や敬意を欠いた言葉づかい」とされていた。これらの素材をマシンラーニングで学習させることで、アルゴリズムがコンテンツの有害性を評価することが期待されていた。 しかし、ワシントン大学の研究者らの調査でこのAIツールが、黒人のツイートをヘイトスピーチに分類することが分かった。アルゴリズムは黒人のSNSへの投稿を、高い確率で有害コンテンツに分類していたが、実際は無害な発言ばかりだったという。 研究チームのMaarten

[filinion]

黒人が黒人に「nigger」って言っても差別にはならないが、白人が言うと差別になる問題。…それって、学習データを増やせば解決できるものなのかなあ…。

[Fuggi]

むしろ人間の側の倫理観が流動的・相対的（場当たり的）であることに気づくべきだと思うけど。／「AIが差別的かどうかを決める」のは極めてディストピア的だけれど、SNSの投稿内容の判断に実装されれば即現実になる。

[by-king]

だいたい身内ならヘイトにならないみたいな考えのがおかしいからな

[tamtam3]

それはAIの方が正しいのでは？喋ってる相手が誰かによってゴールポストが移動するような定義がそもそも狂ってる

[Domino-R]

完璧なデータなど存在しないよ。完璧な世界が存在しないようにね。/AIが人間のようになったり、人間を超えたりはできないよ。人間はそれほど優れてるからではなく、人間は度外れて蒙昧だから。

[abinosuke]

使われる言葉のニュアンスは関係性によって変わるからねー。そこまで認識されたらそれはもう全知だと思う

[a8888]

ヘイトスピーチを規制しようとするときに考慮しておかなくてはいけない点。Nワードを使われたくない黒人はいないことになっているのね。

[osugi3y]

MicrosoftのやつもやけどAIに任せると差別的になるのなんでやろな

[cl-gaku]

AIが正しさを決めてくれる訳だ

[strow0343]

「誰が」という文脈がいかに重要かが分かる

[daybeforeyesterday]

うーむ

[gogatsu26]

“ヘイトスピーチと判断された発言の多くは黒人英語（AAVE、African American Vernacular English）で書かれていたという。つまり、アルゴリズム自体が黒人への偏見を含んでいたことになる”

[sugawara1991]

タイトルが内容と一致してない。これAI判定をトーンポリシングだと非難する流れくる？

[aya_momo]

なんだ、GoogleのAIの問題か。

[quwachy]

普通にAIが正しい、人間の方が間違っている

[kaos2009]

[ヘイトスピーチと判断された発言の多くは黒人英語（AAVE、African American Vernacular English）で書かれていたという。つまり、アルゴリズム自体が黒人への偏見を含んでいた」　日本語だと「部落」とかか