サイトの分類を機械学習で予測する（MeCab + TF-IDF + Word2Vec） - FANCOMI Ad-Tech Blog

こんにちは！5日間インターンに参加させて頂いた中島です。 昨年の夏に続き2回目の参加となりました。 前回はCTR予測を行いましたが、今回は自然言語処理をテーマにサイトの分類を行いました。 tech-blog.fancs.com なぜサイトの分類を行うのか 今回の目標 手法 データ概要および取得方法 特徴量の作成と実験 1. テキストに対して形態素解析、TF-IDFする 2. テキストに対して形態素解析、TF-IDFし、オーバー及びアンダーサンプリング 3. 2に加えてWord2Vecにより作成した特徴量を追加 まとめと感想 なぜサイトの分類を行うのか ユーザーに合わせた広告を配信することは、収益をあげる上で重要です。 サイトを訪れるユーザーに合わせた広告を配信するためには、サイトの傾向を掴み分類する必要があります。 人間が目視で確認すればタグ付けできますが、何億件もあるサイトに適切なタグを