グーグルは2016年にSNSやウェブサイト上の、ヘイトスピーチを監視するAI(人工知能)アルゴリズムを開発した。しかし、このAIが全く逆の結果をもたらし、人種的偏見を助長するものあることが発覚した。 アルゴリズムにヘイト発言を学習させるため、グーグルはPerspectiveと呼ばれるAPIで「有害」のラベルづけをした10万件以上のツイートを用意した。有害な発言の定義は「侮辱的な内容や敬意を欠いた言葉づかい」とされていた。これらの素材をマシンラーニングで学習させることで、アルゴリズムがコンテンツの有害性を評価することが期待されていた。 しかし、ワシントン大学の研究者らの調査でこのAIツールが、黒人のツイートをヘイトスピーチに分類することが分かった。アルゴリズムは黒人のSNSへの投稿を、高い確率で有害コンテンツに分類していたが、実際は無害な発言ばかりだったという。 研究チームのMaarten