大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
confusion matrix - MCMD Site
各セルに示されたTP,FP,FN,TNの意味は以下に示す通りである． TP(true positive:真陽性) モデルはpositive(陽性)と分類し，その結果は正しかった(真，すなわち実際もpositiveであった)場合の数. FP(false positive:偽陽性) モデルはpositive(陽性)と分類したが，その判定は誤っていた(偽，すなわち実際はnegativeであった)場合の数. FN(false negative:偽陰性) モデルはnegative(陰性)と分類したが，その判定は誤っていた(偽，すなわち実際はpositiveであった)場合の数. TN(true negative:真陰性) モデルはnegative(陰性)と分類し，その判定も正しかった(真，すなわち実際もnegativeであった)場合の数. この分類表を基にして分類性能を評価するいくつか
Confusion matrix - Wikipedia
In the field of machine learning and specifically the problem of statistical classification, a confusion matrix, also known as error matrix,[1] is a specific table layout that allows visualization of the performance of an algorithm, typically a supervised learning one; in unsupervised learning it is usually called a matching matrix. Each row of the matrix represents the instances in an actual clas
Log In - Apache Software Foundation
Powered by a free Atlassian Confluence Open Source Project License granted to Apache Software Foundation. Evaluate Confluence today. Čeština Dansk Deutsch Eesti English (UK) English (US) Español Français Íslenska Italiano Magyar Nederlands Norsk Polski Português Română Slovenčina Suomi Svenska Русский 中文 日本語 한국어 Powered by Atlassian Confluence 7.19.25 Printed by Atlassian Confluence 7.19.25 Report
ナイーブベイズを用いたテキスト分類 - 人工知能に関する断想録
今までPRMLを読んで実装を続けてきましたが、10章からは難しくて歯が立たなくなってきたのでここらで少し具体的な応用に目を向けてみようと思います。機械学習の応用先としては画像の方が結果を見ていて面白いんですが、当面は自然言語処理を取り上げます。そんなわけで一番始めの応用は機械学習と自然言語処理の接点として非常に重要なテキスト分類（Text Classification, Text Categorization）の技法たちを試していきたいと思います。テキスト分類は文書分類（Document Classification）という呼び方もあります。テキストと文書は同じ意味です。最初なので自分の知識の整理と入門者への紹介のためにちょっと丁寧にまとめてみました。 テキスト分類とは テキスト分類とは、与えられた文書（Webページとか）をあらかじめ与えられたいくつかのカテゴリ（クラス）に自動分類するタス
GitHub - cametan001/NaiveBayes: ナイーブベイズ分類器による文書分類問題
ナイーブベイズ分類器: Purpose(目的): ナイーブベイズ分類器の計算方法の改良と古典的な文書分類の実験 Requirements: Python 2.6 or greater, < 3.0: http://www.python.jp/Zope/download/pythoncore SQLite: http://www.sqlite.org/ BeautifulSoup: http://www.crummy.com/software/BeautifulSoup/ Yahoo!デベロッパーネットワーク日本語形態素解析: http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html ※ Yahoo!のアプリケーションIDはAppIDと言うファイルを作ってそこにペースト/保存してください How to Use(使い方): 単にデフォルト
Hadoop/Mahout/HBaseで テキスト分類器を作ったよ
This document discusses Hadoop, HBase, Mahout, naive Bayes classification, and analyzing web content. It provides an example of using Mahout to train a naive Bayes classifier on web content stored in Hadoop and HBase. Evaluation results are presented, showing over 90% accuracy in classifying different types of web content. The effects of parameters like alpha values, n-grams, and feature selection
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lucene - Mahout User List | Mailing List Archive
http://people.csail.mit.edu/jrennie/20Newsgroups/
TermAttribute (Lucene 3.1.0 API)
Partitioner (Hadoop 0.20.2 API)
Uses of Interface org.apache.hadoop.mapred.Mapper (Hadoop-Mapred 0.21.0 API)
SequenceFileInputFormat (Apache Hadoop Main 2.9.1 API)
SequenceFileOutputFormat (Apache Hadoop Main 2.9.1 API)
JobConf (Apache Hadoop Main 2.9.1 API)
FileInputFormat (Apache Hadoop Main 2.9.1 API)
Log In - Apache Software Foundation
Log In - Apache Software Foundation
org.apache.mahout.classifier.bayes (Mahout Core 0.7-SNAPSHOT API)