テーブルデータ向けの自然言語特徴抽出術

例としてあげるデータは全て、atmaCup#10のものです。また、この記事の内容はこちらのノートブックで実験を行っています。 データの例。'title'、'description'など自然言語を含むカラムが存在する。 参考: 自然言語処理におけるEmbeddingの方法一覧とサンプルコード Bag of Wordsベースの手法 文書をトークンの集合として扱う手法です。トークンとしてはよく単語が選ばれますが、自分でtokenizerを設定して文章を単語以外のtokenの集合として扱うこともできます。また、日本語などの言語においてはトークン化が自明でないため、MeCabなどを用いてトークン化することがかなり多いです。 コラム MeCabを用いたトークン化

[knaka20blue]

“D/NMF/LDAによる圧縮 これまでに紹介したCountVectorizer, TfidfVectorizer, BM25の出力はいずれも数万次元を超える巨大な行列です。このような高次元のデータから学習することは一般的には少し難しいとされ、次元削減の手法を用い

[misshiki]

“自然言語を含むカラムを持ったテーブルデータにおいて、教師あり学習用にテキストのカラムを固定長の特徴ベクトルに直す方法をまとめたもの”