はてなブックマーク

fastTextの仕組み 自然言語処理では、コンピュータで処理するために、言語を数値的に表現する必要がある。その表現方法の基礎が単語のベクトル化である。単純なベクトル化の手法としてはone-hotという手法がある。one-hotは、処理対象となる文全体で利用される単語ひとつひとつに対してそれぞれ一つの次元を割り当てる方法である。例えば、 I am a son. You are a father. という例文を考える。この2文を対象とした場合、単語は7個あり、全ての単語はone-hot表現では7次元ベクトルで表現される、 I  = [1,0,0,0,0,0,0] am = [0,1,0,0,0,0,0] a  = [0,0,1,0,0,0,0] son = [0,0,0,1,0,0,0] you =[0,0,0,0,1,0,0] are  =[0,0,0,0,0,1,0] father =[