DO++ : 線形識別器チュートリアル

ワークショップ中の夕食で話したのですが、今のところ日本で（素性関数ベース＆線形識別器）機械学習のいろいろな手法をまとめて体系的に教えてる資料などがあまりないなぁという話をしていました。 で、探すと、このあたりの大部分をまとめて説明しているいいチュートリアル（英語）がありました。 夏の学校資料[pdf] その他のコードやリンク ちょっとだけ解説 現在自然言語処理の多くで使われている学習器は線形識別器です。 入力x（例：単語、文、文書）から出力y（例：品詞、品詞列、文書のトピック）を予測したいという場合は、(x,y)のペアからいろいろな値を取り出し（x,yのペアから値を取り出す関数を素性関数と呼ぶ）、その値を並べたベクトルを素性ベクトルと呼び、f(x,y)とかきます。そして、その素性ベクトルf(x,y)と同じ次元数を持つ重みベクトルwとの内積を測って、その値が正か負か、または大きいか小さいかを

[itochan]

「重みベクトルは(-1, 3, 1, -2)というふうに」で、「その素性ベクトルは(1,3,0,1)であり、重みベクトルとの内積は -1*1 + 3*3 + 0*0 + 1*1 = 9」とはならない。（0*0で気づいた）　-1*1 + 3*3 + 1*0 + -2*1 = 6 。

[tettsyun]

tutorial

[tripleshot]

ナイスまとめです！

[twainy]

『線形識別器は非常に単純ですが、それでも自然言語処理だと有効です。理由の一つとして、次元数が非常に大きく（例えば数千万次元とか）、線形でも十分区別する能力があるということがあげられます。』