大規模言語モデルは相関関係から“本当の”因果関係を推定できるのか？ 40万個の問題で研究者らが調査

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 ドイツのMPI-IS、スイスのETH Zurich、米ミシガン大学、香港大学、米Meta AIに所属する研究者らが発表した論文「Can Large Language Models Infer Causation from Correlation？」は、大規模言語モデル（LLM）が相関関係から因果関係を推定する因果推論タスクでどの程度の性能を発揮できるかを調査した研究報告である。 推論の基本的な考え方では、因果関係を得るために2つの方法がある。1つは、経験的な知識に基づくものだ。例えば、誕生日パーティーを友人のために準備すると、幸せになるということは常識

[JULY]

想像通りの結果。チューニングである程度、言葉は悪いが「ごまかす」ことはできるから、分野を絞れば良い近似は得られ、実用的な使い方はできると思うが、そこを超えるには、別のブレイクアウトが必要。

[shunkeen]

“全てのモデルにおいて因果推論タスクがうまく機能しないことが示された”／統計に関する知識のない人間の正答率と比べてどの程度なのだろうか。

[takayamaki]

やっぱり推論が入り込む余地のない定型的な言い換え、書き換えのタスクくらいしか任せられないな

[typographicalerror]

「42」と言われたら我々は黙って受け止めればいいんですよ

[tekitou-manga]

なるほど……

[ookitasaburou]

“しかし、後者の純粋な因果推論によって因果関係を推論することは可能だろうか。”

[cartman0]

因果推論用のデータセット用意すればいけそうではある

[misshiki]

“大規模言語モデル（LLM）が相関関係から因果関係を推定する因果推論タスクでどの程度の性能を発揮できるかを調査した研究報告”

[WildWideWeb]

口では「相関と因果は別。混同するな」とか言って「区別できてる俺はワンランク上、お前らとは違う」と思って暮らしているものの、実際にはまるで区別できてない、それが日常。だから現状の生成AIでもOKなのでは？

[toaruR]

『因果推論タスクがうまく機能しない』『微調整により大幅に改善』『LLMが獲得する因果推論スキルは頑健ではない』

[maketexlsr]

相関と因果を見分けるのは別のスキルセットが必要そう。人間見てると

[Seamless]

Alpaca,BART,GPT-4等LLM17種を因果関係問題40万でテスト,全モデルで因果推論タスクがうまく機能せず。微調整で向上したが問題の言い換え等で精度急低下と頑健性なし。