はてなブックマーク

#1では自然言語に教師あり学習を適用するにあたって、BoWと形態素解析の導入を行いました。 #2ではPoC開発などで用いやすい特徴語抽出とその有名なアルゴリズムであるtf-idfについてまとめられればと思います。 以下目次になります。 1. PoC開発における特徴語抽出 2. tf-idfの仕組み（理論） 3. tf-idfの実装 4. まとめ 1. PoC開発における特徴語抽出 データ分析や機械学習などのプロジェクトを進めるにあたってはやってみないとわからないことも多いので、まず最初にPoC(Proof of Concept)の開発を行うことが多いです。これを行うことで、アウトプットの擦り合わせをしながらプロジェクトをどんどん進めていくことが可能です。物がない時点だと議論が空中戦になることも多いし、精度面での期待値の擦り合わせも難しいので擦り合わせは非常に重要です。 さて、自然言語処理に

時折自然言語処理のセミナーを行うのですが、毎回同じことを話すのもなかなか退屈なので、基礎知識を公開情報の形式で簡単にまとめていければと思います。 #1では教師あり学習について簡単に復習した上で、言語処理の基本となるBoWと形態素解析について解説していきます。 以下目次になります。 1. 機械学習（教師あり学習）の復習 2. 自然言語の取り扱いとBoW(Bag of Words) 3. 形態素解析とJanome 4. まとめ 1. 自然言語処理に機械学習をどのように適用するか（概論） 自然言語処理について学ぶ前にまず機械学習について軽く復習します。 上記の記事でご説明したように機械学習において実務で用いやすい教師あり学習のアルゴリズムはXとyの組みから規則を作って新しいXに対して予測を行うアルゴリズムです。 上記の記事では距離の概念を利用して規則を作っていますが、規則の作り方は色々とありこれ