「AIが神格化した世界」はディストピアか？ AIの誤判定で“3万人超”の人生狂わせたオランダ政府の事例

この声明にはAIが人類を滅ぼす具体的な根拠は書かれていないが、CAISのWebサイトではいくつかのシナリオを提示している。「AIが武器化する」「AIによって偽情報が拡散される（それによって社会が崩壊する）」「AIによって生活が便利になり過ぎ、それに甘えた人類が衰退してしまう」などだ。 今回の声明に対する賛否は専門家の間でも分かれており、議論の決着はついていない。しかし、人類が滅ぶとまではいかなくても、既にAIはさまざまな形で私たちの生活に実害をもたらすようになっている。特に大きな被害が出た事件はオランダで起きた“不正検知AI騒動”だ。 この事例ではどんな技術を使っているか詳細を明かしていないため、記事内では“機械的なアルゴリズム”という広い意味でAIと表現する。 自殺者まで出したAIのアルゴリズム CAISの声明に先立つことおよそ1カ月前の4月。レナーテ・ウォルバースさんという女性とそのパ

[y_as]

「罪悪感」のアウトソースには成功しているので、今後もミスすると多くの人に被害が出てミスした人の罪悪感が高い業務には積極的に使われていくことでしょう。（イヤな予言

[hinonono]

流行りのAIは統計的なので因果関係ではなく相関関係に近い（論理は多少分かるがかなり弱い）。更にニューラルネットは局所解に嵌まりやすい。そもそもが平等にとことん向かない。それを制度・設計に入れた人間の過ち

[uotocs]

何年前の事例だ。2008年に現代レベルのAIあるわけないのでは

[mats3003]

この記事に「今のAIならそんなことはないだろう」と考えてしまうのは、十分なバイアスであり同じような誤判定を導く可能性は少なくないだろう

[hunglysheep1]

”レナーテさんのケースのように親元から引き離されることになった子供は1000人以上”

[burnoutdog]

行政処分=法の執行なのだから、法と証拠に基づかなければならないと思うが、不正の事実認定がどうやってなされたのかな…

[kotaponx]

AIっていうよりパラメータ設定ミスというか、統計ベースで個々の事例を判断するなっていうか……もろもろイケてない / つまり間違っているのは設計・運用している人間

[misshiki]

“不正を判断するアルゴリズムには国籍や民族がパラメータの一つとして組み込まれており、それが偏見を生み出す原因となったようだ。”

[nilab]

「外国籍を持つ人々による各種手当の不正受給が発生しており、「Bulgarenfraude」（ブルガリア人による不正）などという名前が付けられる事件も発生」「アルゴリズムには国籍や民族がパラメータの一つとして組み込まれ」

[wktk_msum]

昔の話、で片付けられない示唆のある提言では。こどもと離されるきっかけが誤認だったとか許せないでしょ…

[timetrain]

早すぎたんだ、と言いたいけど今のものでも、そして将来でも誤認は絶対起こるだろうなあ

[deep_one]

「人間はAIが下した判断をうのみにしたり、それに異議を唱えられなくなったりする傾向があることが分かってきている」要点はAIのレベルじゃなく使う人間である。AIの精度が上がることは人間の妄信を助長するだけ。

[fx702p]

そもそもこれ単なるアルゴクラシーで、AI関係なくね？

[ucue]

IT業界からすれば、そんなの誤差ってことで済むんじゃないの。

[Sinraptor]

AIを実務、特に判定に使用する場合の最大の問題は「誰も責任を持たなくなる」という事だ。

[ookitasaburou]

“そのアルゴリズムに不適切な点があり、レナーテさんのような家族を生み出してしまっていた。別の報道によれば、その数は3～7万人ともいわれ、レナーテさんのケースのように親元から引き離されることになった子供は1

[toaruR]

10年以上前の話だった（´－｀）いずれにしても裏取りは大事よね

[marilyn-yasu]

現代でAIを使っても取っかかりであってその後の調査と承認無しで運用はしないだろ。なんでAIの出した答えをそのまま適応したんだ？

[hatest]

AIが神格化したわけじゃなく、人間の確認が不十分だっただけでは。

[rh-kimata]

従来の演算では判断できないことをAIなどの新しい技術使って当たりを付けるのは適切だと思うが、それを不正があったと正式認定するプロセスはどうなっていたのだろう。そこの不備では?

[asyst]

今のところChatGPTの方が人間よりはるかに倫理的で模範に値するという印象しかない

[isrc]

児童手当の不正受給を効率的に把握し、払い過ぎていたお金を回収するために、AIによる不正検知に取り組んでいた。そのアルゴリズムには国籍や民族がパラメータの一つとして組み込まれており、偏見を生み出す原因に

[Bosssuke]

人間の誤判定で人生を狂わされた例と比べないと意味ない