タグ

ブックマーク / zenn.dev/ty_nlp (1)

  • 自然言語処理の深層学習においてshortcut learningを減らすには

    今回の論文紹介の意図 背景は、自然言語処理において、後述するOOD(out-of-distribution)を考慮することの重要性を最近だんだんと感じてきたことです。そう感じた理由や、今回の論文とOODとの関係性についても後述しています。 OODとは OODを理解するには、まずIID(independently and identically distributed)を理解するといいです。 IID IIDは元々、確率論や統計学における概念です。 例えば、1つのサイコロを振る試行を何度か行うことを考えます。この試行の特徴を考えてみると、次の通りです。 ある試行の結果(どの目が出るか)は、他の試行の結果に影響しない 特定の目が出る確率は、何度試行しても同じ(1の目が出る確率は、何度やっても同じ1/6) …というのが、IIDの最も簡単な例です。IIDは、そういう性質や状態を指します。 IIDの由

    自然言語処理の深層学習においてshortcut learningを減らすには
    knok
    knok 2023/03/09
  • 1