人間の命を救うはずだったAIが政治と無知によって無視されてしまった話｜Kan

優れた料理人はお客さんが育てると言うことばがあります。料理を食べるお客さんが、それがほんとにうまいかどうかわからないと、料理人のレベルも上がらないということです。 実はAIにもそれと同じような面があります。 AIがわからない人にAIを渡しても、AIの真価は発揮できないということです。 今回は、汚染された水道管を発見することができるAI（機械学習による予測モデル）をせっかく開発したにもかかわらず、結局使われなくなってしまい、そのせいで問題の水道管が今でも取り替えられず、多くの人の命が危険にさらされていると言う、アメリカのミシガン州のフリントという町で起こった話を紹介したいと思います。 以下、要約。 --- How a Feel-Good AI Story Went Wrong in Flint - Link アメリカのミシガン州にフリントという、かつてはアメリカの自動車産業の繁栄とともに栄え

[el-condor]

そりゃ政治なら説明責任が発生するのに対し現状の機械学習では結論は予測できても理由が説明できるわけではないからな。そして民主的な意思決定には説明が不可欠。この矛盾をクリアするのが今後のMLの課題の一つよね

[JULY]

これ、実は AI は無関係な気がする。多くの住民が納得できるように優先順位を説明できるか？ という問題であって、AI じゃなくても困難な問題。AI だとより説明が困難ではあると思うけど。

[REV]

そんな海外のことを引き合いにださなくったって、「全数検査」が大好きな国民がここにおるやろ

[kei_1010]

70%の正解率というのが、また微妙よね。全ての家の水道管を調査するけど、その順番はAIの出す結果を参考にする、って感じなら問題なく使われるのでは？

[harapon1012]

学びがある。とはいえ、「70％の確率であなたの家は大丈夫です」ではなく、「専門家の予測によって、危険度が高いところから重点的に調査します」という言い方をすればよかったのではと思う

[NATROM]

「AI は無関係な気がする」という意見に一票。たとえば頭の検査を希望する患者さんに「あなたには頭部ＣＴの必要性は低い」とご説明してご納得いただけるかという問題と似ている。

[takeda25]

“リード（鉛）”鉛という意味のleadはレッドじゃない？

[gabill]

工事会社からすれば効率化は逆インセンティブが働くだろうし、積極的に使う動機は無さそう。

[mysticatea]

false positive が 30% なのは良い。しかし false negative の確率が分からないのに、確認せず安心できるわけがない。データないの?

[Dragoonriders]

そもそもが財政破綻都市で取水口を川に変えて鉛水道管が腐ったのが原因。すでに鉛健康被害が出てしまい、AIで取り替える順番でどうこうできる問題のレベルにはなかったのではないかな。

[Louis]

「汚染された水道管を発見することができるAIをせっかく開発したにもかかわらず、結局使われなくなってしまい、そのせいで問題の水道管が今でも取り替えられず」というミシガン州の話

[paravola]

（これもそうね）そのせいで問題の水道管が今でも取り替えられず、多くの人の命が危険にさらされている、ミシガン州のフリントという町で起こった話

[Stella1o]

AIに限らず技術者がみんな把握すべき重要なことだと思った。予測結果の利用方針や当事者への説明方法の問題はそこらじゅうにある印象。ランナーの理解不足で息切れするのも同様。そも予測に限った話でもない。

[BUNTEN]

まず水道水中の濃度を測るという方法はなぜ使われなかったのか知りたい。

[tailtame]

ブコメ見てるとそうも言ってられない感じだなぁ…。青の集中してるところがなんだけど。

[itochan]

70%の精度であなたは大丈夫、って言われたら、いやいや30%は間違いなんだろ、って文字通りクリティカルに考えるのは、無知とは違う。生命に関わる問題ならば。

[okemos]

自分達が無視されているという感覚は強力なものだし、ましてそれが安全関係となれば調査されない住民が調査を要求するのは当然。それにどう対処するのかは難しいよな。

[myrmecoleon]

“AIがわからない人にAIを渡しても、AIの真価は発揮できない”サトラレがいかに有能でも人類はサトラレの発想が理解できないエピソード思い出した。

[hazardprofile]

これは無理でしょう

[goodstoriez]

“結局使われなくなってしまい、そのせいで問題の水道管が今でも取り替えられず、多くの人の命が危険にさらされていると言う、アメリカのミシガン州のフリントという町で起こった話”

[unamuhiduki12]

出てきたデータを使いこなさなきゃAIも宝の持ち腐れであると。

[tmatsuu]

市民が納得できる説明方法も機械学習しようぜ

[Sinraptor]

かといってAIが権威化しても昔のマンガのマザーコンピュータみたいな事になりかねん。

[teruyastar]

AIに限らず役所はこれまでも「公平性」のために税金を何倍も無駄に使う必要があった。確率という不平等を受け入れられない弱者は何倍もの税金と無駄な仕事に埋もれ弱者から抜け出せない。

[y-wood]

民主主義の不完全さだよね。プレイヤーは合理的に動いた結果、全体最適とは程遠い。

[seal2501]

AIじゃなくてもあるよね。。学術的に正しいと知られていることを人間が正しいと認識できない、そしてそのことを政治的に納得させる方法がない

[arajin]

人工知能に限らずサイエンス全般においてこういうことは起きうる。

[youichirou]

まあ最終的に掘ってみないと鉛かどうかわからないんなら、「AIが確率が低いと言っているので大丈夫です。確認はしません」では納得いかない人は出るよね。「確率が低いので後回しにします。」ならともかく。

[sotonohitokun]

AIと言うか功利主義自体に嫌悪感を持つ人は多い。今後生まれてくる100万の赤ちゃ予算の為に1万人のお年寄りへの年金や医療費は削れない。機械はそう言うの躊躇無いからねー。

[pecan_fudge]

愛がわからない人を愛しても、愛の真価は発揮できないということです。

[beed]

自分や家族の健康に関わる問題で80％の確率で大丈夫って言われて納得するやつがいたら馬鹿だろ。掘れば100％の結論が出るのに。

[filinion]

そもそも「埋まってる可能性が高い場所から掘る」というのは本当に有効な戦略だろうか。子どもがいる家優先、とかの方が妥当では。最終的には全戸調査が必要なんだろうし、端からやってく方が結局安上がりなのでは。

[lyiase]

「現状の機械学習では結論は予測できても理由が説明できるわけではない」と言うブコメがあるがこれこそ「住民に予測モデルの結果を解釈するだけの知識がない」を表しているな。「ある程度説明出来る」のが答えなのに

[lvseven]

悲しい話や。いっそ市長もAIだったら問題起きなかったのにね。

[chintaro3]

　「住民にAIによる予測を説明できない」

[dltlt]

https://arxiv.org/pdf/1806.10692

[yetch]

金があって声のデカい奴が優遇されるといういつもの政治力

[toubanjanny]

これ、AIを「専門家の提言」と読み替えても同じことになるから、AIどうこうより意思決定プロセスに問題がある。▼しかし70%という数字は信じてはいけないとスパロボ統計学で学んだ。

[kalcan]

AIの知識どうこうって問題じゃないと思う。効率化によって自分が利益を受けるなら効率化を選ぶし、他人だけ恩恵があって自分に利益がなさそうなら公平であることを選ぶ、という心の問題だろう。