はてなブックマーク

データ分析や機械学習を行う上で、必ずしも全ては必要ないにしても最低限の理論の理解は欠かせません。とはいえ、とっつきづらかったり数学がネックになったりで学習に挫折するケースをよく拝見します。 こういった挫折のケースの要因は読み手の知識不足の際もあるのですが、本によっては説明が不十分だったり読みにくかったり誤植があったりと単に理解しやすい文面で書かれていないというのもあります。また、実装本の中にはライブラリの使い方の説明がメインのケースもあります。 そこで、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。実装のほとんどが車輪の再発明に近くなりますが、ベーシックなアルゴリズムをあえて一から自分で追ってみるというのは引き出しを増やすという意味で非常に有意義です。 #1では主成分分析に

#1ではBoWと形態素解析の導入、#2では特徴語抽出とtf-idfについて取り扱いました。 #3ではここまで出てきた疎行列(Sparse matrix)の取り扱いにあたって分散表現とWord2vecについて取り扱いたいと思います。 以下目次になります。 1. 疎行列の取り扱いと局所表現・分散表現 2. Word2vecの仕組み 3. Word2vecの実装 4. まとめ 1. 疎行列の取り扱いと局所表現、分散表現 ・背景（自然言語処理における疎行列の取り扱い問題） 自然言語処理を行う際にBoW的なアプローチ（生起頻度のカウントとtf-idf値での計算のどちらも含みます）を行うにあたって一番ネックになりうるのは疎行列(Sparse matrix)の問題です。 https://scikit-learn.org/0.16/modules/feature_extraction.html#spars