テキスト処理にWekaを使う（その１：文書のトークン化とTFIDF重みづけ） - シリコンの谷のゾンビ
テキスト分類課題などでは，文書をTF-IDF重み付けしたbag-of-wordsで表現することが多い．これをベースラインにするため，さくっとこの処理をしたい．卒論やM1のときは，この処理をわざわざ手で書いたのだが，バグが出たら大変だし，なにより面倒くさい． 論文では，最近流行りのLuceneを使っている人もいるけれど，WekaのStringToWordVectorもなかなか高性能．TFIDF重みづけまでの処理をやってみる．Luceneの方が汎用性があるから便利そうなんだけれど，とりあえずテキスト分類課題に使いたいので． 前提知識 かなり自分用メモ（＋α）なので，説明不足な部分があります．あと，基本的にCUIベースで話を進めます．最後の方に気がついたのですが，GUIとずれがありますね．そこらへんは，まぁ，適当に． Wekaについては，日本語情報があるにはあるのですが最近更新されていないので，
Spectral Clusterer for WEKA
Overview Change log Spectral Clustering Release notes System requirements Installation instructions Build instructions Documentation References Overview This is preliminary, but fully functional, implementation of the Spectral Clustering algorithm for the WEKA framework. WEKA is an Open Source Knowledge Discovering and Data Mining system developed in Java by the University of Waikato in New Zealan
How to use WEKA 3.1.8
UNIXの場合 CNS の /home/furukawa/datamine/weka318/weka.jar にクラスパスを通します。具体的には、自分のホームディレクトリにある、 .cshrc というファイルに内容を追加します。 クラスパスの書き方は、すでに設定してあるクラスパスがあるかどうかなどによって 変わって来ますが、おそらくみなさんの .cshrc ファイルには、 setenv CLASSPATH ".:/usr/local/lib/jdk1.2.2/src.jar" という記述があると思いますので、そのすぐ下の行 に、以下の通りに内容を追加して下さい。 setenv CLASSPATH "/home/furukawa/datamine/weka318/weka.jar:$CLASSPATH" (この行をファイルの最後に追加した場合、行の最後で改行をするのを忘れないで
Enjoy Data Mining!
Wekaを用いたデータの準備をする際，「どのようなデータを用意すべきか」で頭を悩ませることが多いと思います． 今回は，3つの観点からデータの準備について，説明していきます． データの内容 Wekaで利用可能な機械学習アルゴリズム（一部，回帰分析などの統計的手法），クラスタリング手法では，事例をいくつかの特徴量で表した表形式のデータを用いることを想定しています． 表形式のデータは，データベースで言うところのリレーショナルモデルによる用語でも説明可能です． データの作成の考え方特徴量（英語でFeature）は属性（英語でAttribute）と呼ばれますが，この属性に具体的な値（＝属性値）を入れて，１つ１つの事例や個体を表します． 特徴量は，回帰分析などでは，「説明変数」（「独立変数」）と「目的変数」（「従属変数」）と分けて呼ばれます． 「目的変数」は，「説明変数」の値をもとに予測される値をもつ
Wekaの日本語情報
Wekaの日本語情報 データマイニングツールWekaに関する日本語による情報．データマイニングツールとしての使い方なども紹介していきます． weka-jpでは，データマイニングツールWeka*の使い方に関する日本語での情報を提供していきます． Wekaはニュージーランドのワイカト大学において開発されたデータマイニングツールで，分類学習やクラスタリング，相関ルール生成のみならず，データの前処理や視覚化に関する機能も含む統合型ツールです． Wekaに実装された機械学習やクラスタリングのアルゴリズムは他のツールとAPIやCLIを通して利用可能であるため，多くのツールでライブラリとして利用されています． 本サイトでは，利用方法に関する解説記事を作成し，公開する予定です． 記事の作成に関して，より多くの方にご協力を頂きたいと考えております． 更新履歴 2023年11月1日：Weka関連リンクのページ
JIN'S PAGE
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RapidMiner -- Data Mining, ETL, OLAP, BI