Pythonで機械学習はじめました データ前処理編 - Qiita

はじめに PyCon JP 2016に参加してきました！大変モチベーションが上がった！ので更新します← ちなみにPyConで勉強してきたことも、追々整理&動かしてみて、記事にしてみたいと思います。 今回は「データ準備編」の続きで、Twitterのテキストデータをクラスタリング…する前に、データ前処理とテキストデータ同士の簡単な類似度算出をしてみます。 ご注意！(前回と同じ) 理論よりも、とりあえず触って理解するやり方が好きなので、色々と雑です。 さらに文盲ということで、分かりづらい文章になると思ってます。 そんな訳で読んでてツッコミたくなる内容は多々あると思いますが、ご了承頂きたく！ ※優しいツッコミは大歓迎です 3行でまとめ クラスタリングの前処理として、テキストデータを数値(ベクトル)化した。 数値化したテキストデータ同士で、類似度を計算してみた。 次回からクラスタリングできる！(はず

[knaka20blue]

“に出現回数が少ない単語を無視したい時はmin_dfを指定して除外します。 今回なんとなく「1」を指定しましたが、計算方法は分かっておらず、 また値を変えてもサンプルデータではデータ量が少な過ぎるのか効果は分かり

[Kanasansoft]

scikit-learnを使ったクラスタリング処理の実装例。