テキスト処理にWekaを使う（その１：文書のトークン化とTFIDF重みづけ） - シリコンの谷のゾンビ
テキスト分類課題などでは，文書をTF-IDF重み付けしたbag-of-wordsで表現することが多い．これをベースラインにするため，さくっとこの処理をしたい．卒論やM1のときは，この処理をわざわざ手で書いたのだが，バグが出たら大変だし，なにより面倒くさい． 論文では，最近流行りのLuceneを使っている人もいるけれど，WekaのStringToWordVectorもなかなか高性能．TFIDF重みづけまでの処理をやってみる．Luceneの方が汎用性があるから便利そうなんだけれど，とりあえずテキスト分類課題に使いたいので． 前提知識 かなり自分用メモ（＋α）なので，説明不足な部分があります．あと，基本的にCUIベースで話を進めます．最後の方に気がついたのですが，GUIとずれがありますね．そこらへんは，まぁ，適当に． Wekaについては，日本語情報があるにはあるのですが最近更新されていないので，
Spectral Clusterer for WEKA
Overview Change log Spectral Clustering Release notes System requirements Installation instructions Build instructions Documentation References Overview This is preliminary, but fully functional, implementation of the Spectral Clustering algorithm for the WEKA framework. WEKA is an Open Source Knowledge Discovering and Data Mining system developed in Java by the University of Waikato in New Zealan
Wekaの日本語情報
Wekaの日本語情報 データマイニングツールWekaに関する日本語による情報．データマイニングツールとしての使い方なども紹介していきます． weka-jpでは，データマイニングツールWeka*の使い方に関する日本語での情報を提供していきます． Wekaはニュージーランドのワイカト大学において開発されたデータマイニングツールで，分類学習やクラスタリング，相関ルール生成のみならず，データの前処理や視覚化に関する機能も含む統合型ツールです． Wekaに実装された機械学習やクラスタリングのアルゴリズムは他のツールとAPIやCLIを通して利用可能であるため，多くのツールでライブラリとして利用されています． 本サイトでは，利用方法に関する解説記事を作成し，公開する予定です． 記事の作成に関して，より多くの方にご協力を頂きたいと考えております． 更新履歴 2023年11月1日：Weka関連リンクのページ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RapidMiner -- Data Mining, ETL, OLAP, BI
