アンナ・カレーニナの法則と真理に収束していくモデルたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

幸せな家族はどれもみな同じようにみえるが、不幸な家族にはそれぞれの不幸の形がある。 アンナ・カレーニナの法則 (Anna Karenina principle) とは、成功の状態は一つしかないが、失敗の状態は無数にありうるという、トルストイの小説『アンナ・カレーニナ』の有名な冒頭に由来する法則です。機械学習においては、ヤミニ・バンサルらの研究 [Bansal+ NeurIPS 2021] をはじめとする、モデルの表現（埋め込み）についての以下の観察が知られています。 機械学習におけるアンナ・カレーニナの法則：性能の良いモデルはどれもみな同じような表現をもっているが、性能の悪いモデルにはそれぞれ性能の悪い表現がある。 機械学習では、「アーキテクチャや訓練方法が異なっていても、良いモデルは自然と同じようになる」という上の句に相当する現象に焦点が当てられることが多いです。 この法則は異なるモダリ

[guntz]

40年位前にラジオで聞いた「トルストイは唐辛子バリバリ食っても全然平気だったらしい」「あんなかれーにな」のネタが忘れられない

[rawwell]

“性能の良いモデルはどれもみな同じような表現をもっているが、性能の悪いモデルにはそれぞれ性能の悪い表現がある。”

[misshiki]

“アンナ・カレーニナの法則 (Anna Karenina principle) とは、成功の状態は一つしかないが、失敗の状態は無数にありうるという、トルストイの小説『アンナ・カレーニナ』の有名な冒頭に由来する法則です。”