AIのバイアスのほんとうの問題は人間が気づかないバイアスだ - Qiita

これまでにも何度か紹介してきた、シリコンバレーのA16Zというトップクラスのベンチャーキャピタルの気鋭のアナリスト、ベネディクト・エバンスが、「AIのバイアス」についての考察をまとめていました。 いわゆる「AIのバイアス」といえば、例えば、白人の方が黒人より多い画像データで作ったAIシステムは白人を認識するのは得意だが黒人はそうでない、といったもののように、私達にとって想像つきやすいものについつい目が行ってしまいがちです。しかし実は、私達人間には認識すらできないもの、例えば光の当たり加減や、音の領域などがバイアスとしてデータに入ってきてしまった場合におきるAIのバイアスこそが、難しい問題なのではないかとベネディクトは言います。 いつものように、鋭い考察でいろいろな角度からAIのバイアスに切り込んでいきますが、彼のエッセイがおもしろいのは、もちろん彼の分析力、クリティカル・シンキング能力が素

[hi_kmd]

気づけるバイアスなら対策も立てやすいけれど、気づきにくい所のバイアスは、場合によって差別の再生産などにつながりかねず、危うい。

[endo_5501]

“一番の脅威となるのはテクノロジーのコンサルティング会社やソフトウェアのベンダーがオープンソースの世界で作られているコンポーネント、ライブラリー、ツールなどを理解することなくまとめて使ってしまい”

[hasegawatomoki]

おもしろい。写真から皮膚がんを発見したい → トレーニングデータを食わせる → 皮膚がんの写真には大きさがわかりやすいように定規が写っていることが多い → 定規検出AIのできあがり

[tmatsuu]

人間も異なる尺度で判断することがあるので、そこは人とAIに違いはないのではと思った。どうしてそのような判断をしたかを説明できないのがAIの問題点な気がする。

[zu2]

“そして、このときやっかいなのが、私達は自分が行っている「良くないこと」に対する客観的な自覚がないということが、よくあったりするのです”

[filinion]

定規とか羊とかは実際動かしてみればおかしいのはすぐわかるが、採用差別とかは検証が難しい。AIが高度になるにつれ「何かおかしいぞ」って気づくのは不可能に近づいていく。我々は、AIに正しく問う方法を知らない。

[igrep]

“どんなパターンなのかはデータに依存しています。そしてそのデータは私達に依存していて、そうして見つかったパターンをどう使うかというのも人間に依存しています”

[iww]

『そこで、皮膚がんを検出するためにデザインされたシステムは、定規を検出するシステムとして出来上がってしまったのです。』

[bn2islander]

“ここで最も重要なことは、男女を識別できる明らかな情報は履歴書のデータから、あらかじめ外されていたにもかかわらず” Amazonの奴、履歴書に書いてない男女を読み取っちゃってたのか。これはおっかないわ

[sho]

定規の話は面白おかしいけど、いまどきの機械学習で前処理中にこれに気づけないエンジニアはタコすぎるでしょう。論旨には全面的に賛同するけど。

[atsushifx]

アシモフのSFに出てくる「ロボット心理学者」を思いだす。