AIは94.9％の精度で病状を診断できるが人間がAIを使うことで34.5％まで精度が急低下する

チャットAIのChatGPTは医師免許試験に合格できるというだけでなく、人間の医師よりも患者に好まれる回答を出力できることも明らかになっています。既にさまざまな医療現場でチャットAIが活用されていますが、人間がチャットAIを利用することで、診断精度が著しく低下することが最新の研究により明らかになりました。 Clinical knowledge in LLMs does not translate to human interactions (PDFファイル)https://arxiv.org/pdf/2504.18919 Just add humans: Oxford medical study underscores the missing link in chatbot testing | VentureBeat https://venturebeat.com/ai/just-add-

[Sampo]

それは研修医も臨床の場に出て体験することよ⋯　国試の問題ではきれいな状況で必要十分なノイズのない症例情報から選択肢を選べてたのに、臨床の場に出るといきなり患者さんと話が通じなくて何していいか頭抱えたり

[mellhine]

LLMも診断に必要な情報足りないなら、もっと対話してくれりゃ良いのにね。医者なら患者に色々聴くでしょ。

[NOV1975]

「LLMが単独でシナリオから正しく病状を診断できる」このシナリオが正解に足る必要十分な情報、という意味なのかどうかがイマイチわからん。そうじゃないなら精度の意味がわからん。

[inks]

これ何気に辛い話だな。人間が介在すると間違いが増えるって...。今の若者は、より社会から要請されなくなるって事だぞ。逃げ切れる世代は良い。

[mozukuyummy]

人間の認知を介さない情報を与える方が良さそう。バイタルとか、顔の画像、瞳の画像、手のひらの画像とか。健康診断用に近赤外線照明を備えたスマホがあると良いかもね。

[kazuhix]

診断を下し、その判断が間違っていたとき責任をとれるのは医師だけ。レベル３の自動運転で「事故の責任は運転者にありますよー」とメーカー涼しい顔なのと似ている現象

[tu_no_tu]

医者の専門的な問診能力が大事って記事だよ。患者はつらい事しか伝えないが、それでは正しい診断は出来ない。様々な情報収集を正しく客観的に把握する医師の能力があって初めて、正しい診断が可能。

[sororo9797]

だからこそカウンセリング、ヒアリングの技術が必要だよね。AIなら人間より上手にできる気がするけどなー。

[yorkfield]

"推論できない確率は44.2％ですが、LLMが単独で正しい行動方針を推論する場合の失敗率は56.3％とより高かったそうです。" ／ 原文もちょっと分かりにくいけどおそらくこれは誤訳。これらの確率は成功率と思われる。

[hogetax]

現実社会でもXY問題として名前があるほど知られてるので肌感覚で納得できる。生成AIを使用したプロダクト設計時に考慮すべき点だよね。むずいけどｗ

[plasmatic]

“被験者がLLMに不完全な情報を提供した結果、LLMが正しい診断を下せなくなっていることが明らかになっています。”

[filinion]

「問診」とは「問う診断」。LLMはユーザーが話した情報を受け取るけど、人間の医者のように「いつ頃からですか？」とか「ずっと同じ場所が痛みますか？」とか尋ねないし、患者の様子を目視もしないので診断を誤る。

[inazuma2073]

自分の身体の状態をテキパキ文章化できる人なんかそう多くないよ。

[dgen]

医療に関してはLLMも一発で結論を出すんじゃなく医師と同様に繰り返し質問して絞り込んでいくようにすればいい。

[misshiki]

“ChatGPTは医師免許試験に合格できるというだけでなく、人間の医師よりも患者に好まれる回答を出力できることも明らかになっています。既にさまざまな医療現場でチャットAIが活用されていますが、人間がチャットAIを利

[ghostbass]

むしろアキネーターが必要

[tekitou-manga]

"LLMが人間とのインタラクションを目的として設計されている場合、非インタラクティブなベンチマークのみに頼ると、実世界での性能について誤った安心感を抱く危険性があります"

[pptppc2]

やはりAI様が人間を使うほうが人類のためになることがわかりますね。市民、幸福は義務です。

[xx9xx91024]

政治などについても同じことが言えそう。例えば日本の状況で消費税を減税/増税すべきとAIが判断したとしても多くの人は納得しないだろう。やはりディストピアを作るしか無いのか

[strawberryhunter]

まず患者がクリニックを訪れるか、予約時に問診票というか、AIと対話して症状を入力する。その時点でAIが診断できるはず。というか、ChatGPT登場前に存在したので、今はかなりのレベルに達しているのではないか。

[tyhe]

タイトルから誤った理解を得る人が多そうなタイトルだ。

[jintrick]

cf. https://gendai.media/articles/-/142064

[rlight]

アキネーター式の対話型LLMが求められる

[otihateten3510]

本当のことを書くなｗ

[zgmf-x20a]

何でIBM PC/AT?何でLlama3.3でなくてLlama3?

[lainof]

不足してる情報がないか確認しないと勝手に補完して回答してくるのは既知の事象では？最近だと聞き返してくるケースもあるけど。

[hkdn]

要は94.9%ってただの理論値ってことだよね。LLMが単独でどう診察するんだよ。

[myrmecoleon]

得られた情報の何が提供すべき正確な情報なのか、という判断のスキルも専門教育の対象なのだから当たり前。LLMを診断で正しく使うには医学知識がいる。

[hhungry]

よう分からん。@grokもっとわかりやすく説明して

[iwiwtwy]

準委任契約は日本でのみ通じる関係性なのかしら。ある程度のストレスがかかる状況はある程度の偽りを排除しうるからね。too much informationの渦の中で、stressedは情報の取捨選択の精度が増すよね。

[TakamoriTarou]

よいもわるいもリモコン次第

[kusomamma]

偽陽性率も偽陰性率も事前確率次第。たぶん書いてる人がわかってない。

[mutinomuti]

すべての診断はAIしか信じないって人？