サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
中東情勢
hamadakoichi.hatenadiary.org
2011/06/19 "第12回 データマイニング+WEB 勉強会@東京−機械学習MapReduce・大規模R解析 祭り−"を開催しました。 第12回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧: 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA: ■Opening Talk: O1.「データマイニング+WEB勉強会@東京 について」(10分) 講師 : id:hamadakoichi
2011/06/12 "第11回 データマイニング+WEB 勉強会@東京−Mahout・Graphical Model・学術 祭り−"を開催しました。 第11回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining 11th)−Mahout・Graphical Model・学術 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者一覧: 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA: ■Opening Talk: O1.「データマイニング+WEB勉強会@東京 について」(10分) 講師 : id:hamadakoichi
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料: 第5回R勉強会@東京 で話してきた - 「R言語によるアソシエーション
Apache Mahout は、Hadoop上で動作する大規模分散データマイニング・機械学習のライブラリ。 Random Forest は大規模データで高精度の分類・判別を実現するアルゴリズム。 Random Forestを、"R言語での実行のように容易"に "大規模分散 学習・判別"できるように、 Mahout を用いた各種 Driver を実装しました。 以下に実行方法、実装を紹介します。 org.mahoutjp.df.ForestDriver Random Forest の分散学習から、分散判別、判別結果出力、および、精度評価まで行う Driver。 org.mahoutjp.df.ForestClassificationDriver 生成された Forest Modelを用いて、分散判別、判別結果出力、および、精度評価まで行う Driver。 両 Driver とも、1コマンドで
Hadoop上で動作する 大規模データマイニング・機械学習ライブラリ Apache Mahout に関し、技術情報まとめ・発信よる活用の裾野を広げることを目的としMahout JPを立ち上げました。 私も含め TokyoWebminingでMahoutに関する各種講師をしていたメンバーや、Tokyo.R、PRML会のメンバー含め、各業界のデータマイニング・機械学習で活動してきたメンバーで集まり、Mahoutに関する情報まとめ・発信をしていきます。 Mahout JP -Effective Applications of Apache Mahout in Japan- #MahoutJP 現在、Mahout はドキュメントがまだ整備されていなく、唯一ある書籍 Mahout in Actionでも情報が限られているため、実際に活用しようとするとソースコードから読み込む必要がある状態です。今回、
R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードを用い紹介する。 例:複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R言語による時系列分析入門 R言語でのAR、ARMA/ARIMA、ARFIMA、ARCH、などの時系列モデルの入門資料(※1年前のTokyo.R 講師資料) http://d.hatena.ne.j
R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードも用い紹介する。 例:複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R Library 複数時系列の時系列分析として、R言語では plm 、 ccgarch 等のパッケージがあるが、今回は plm (Panel Linear Model) を紹介する。 ※参考:Pa
4/16(土)「第2回 さくさくテキストマイニング勉強会」に参加してきました。 ATND: 第2回「にこにこ」改め さくさくテキストマイニング勉強会 : ATND 運営、講師のみなさんお疲れさまでした。先週の第10回TokyoWebmining−2nd Week−大規模分散 機械学習 祭り−に続き、毎週会っているメンバーも多い。来週、再来週も会いますね。たっぷり話しましょう。 以下、各講師資料、メモ、所感まとめ。 言語処理学会へ遊びに行ったよ〜不自然言語処理へのお誘い〜 ([Twitter:@AntiBayesian]) 資料:言語処理学会へ遊びに行ったよ〜不自然言語処理へのお誘い〜 言語処理学会の中で実務に使えそうなものを紹介していく。 学会で最新の情報と仕事を得る。疑問点を解決する。 7本の論文紹介、全てスキップw Wikipediaを利用しコーパス作成、カテゴライズが流行。やってみた
2011/04/10 "第10回 データマイニング+WEB 勉強会@東京−2nd Week−大規模分散 機械学習 祭り−"を開催しました。 第10回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining 10th)−2nd Week−大規模分散 機械学習 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA: ■Opening Talk: O1.「データマイニング+WEB勉強会@東京 について」(10分) 講師 : id:hamadakoichi [Twitter:@hamadakoi
2011/02/27 "第10回 データマイニング+WEB 勉強会@東京−1st Week−広告ネットワーク・グラフ解析・並列機械学習 祭り−"を開催しました。 第10回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining 10th)−1st Week−広告ネットワーク・グラフ解析・並列機械学習 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 以下、全講師資料、関連資料、ツイートまとめ、参加者の声です。 AGENDA: ■10回開催記念トーク: 1. 「データマイニング+WEB〜データマイニング・機械学習活用による継続進化〜」 (発表40分
2011/02/22 Hadoop Conference Japan 2011に登壇してきました。35分の Main Talk。 『モバゲーの大規模データマイニング基盤におけるHadoop活用』に関して話しています。 『モバゲーの大規模データマイニング基盤におけるHadoop活用』−Hadoop Conference Japan 2011− #hcj2011 『モバゲーの大規模データマイニング基盤におけるHadoop活用』−Hadoop Conference Japan 2011− #hcj2011 View more presentations from Koichi Hamada. 現在のモバゲータウンでの、大規模データマイニング基盤の構成や、データマイニング・機械学習の活用、統一行動記述、それらの重要性等、話しています。データマイニング活用の部分等、口頭のみの説明で済ませてしまった箇
「第1回 にこにこテキストマイニング勉強会 (#nicoTextMining)」([Twitter:@toilet_lunch] さん, [Twitter:@AntiBayesian] さん 主催) に参加してきた。実際にどう活用するかを目的した会。最近、毎週トークをしていましたが、今週は聴講者。 ATND: 第1回 にこにこテキストマイニング勉強会 : ATND 以下、ツイートまとめ(Togetter)、各講師資料、メモ、の覚書き。 Togetter 第1回 にこにこテキストマイニング勉強会 #nicoTextMining #1 - Togetter 目的・概要 目的: テキストマイニングについての学習のスタートアップ テキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要: テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、 大量のアンケ
MahoutのCanopyとK-Meansを用い、Canopy生成しCanopy Centroidを用いたK-Means Clustering実行できる Driverの実装法を解説します。次のようなコマンドライン呼び出しで、質の良い Canopy+K-Meansの一連のClusteringの手続きを実行できます。以下では、org.apache.mahout.clustering.canopykmeans packageを作り、追加実装しコンパイルしたJobファイルを $MAHOUT_HOME/bin/mahout-core-0.4-job.jar に置いています。MahoutのVersionは最新の0.4です。 実行例 $HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/bin/mahout-core-0.4-job.jar \ org.apache.maho
2011/01/29 第11回R勉強会@東京(Tokyo.R #11) で講師をしてきました。 「R言語による Random Forest 徹底入門 −集団学習による分類・予測−」。 Random Forest は"機械学習"の方法論で、集団学習により精度高い判別・予測を実現します。 双方向の進行で、質疑応答・議論含め 合計60分で話しました。 「R言語による Random Forest 徹底入門 −集団学習による分類・予測−」 - #TokyoR #11View more presentations from Koichi Hamada. 隠れ Random Forest 祭り 今回のTokyo.R、実は「隠れ Random Forest 祭り」。直前の3トーク、「3. caretパッケージの紹介」(id:dichika [Twitter:@dichika])、「4. RにおけるHPC
2011/01/23 "第9回 データマイニング+WEB 勉強会@東京−2nd Week−方法論・ソーシャル祭り−"を開催しました。 第9回 データマイニング+WEB 勉強会@東京 ( TokyoWebmining 9)−2ndW−方法論・ソーシャル祭り−: ATND Google グループ ※会場参加者ID写真(id:bob3 さんに感謝) 1st Week内容まとめ: 第9回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining #9) −1st Week− 大規模解析・機械学習・クオンツ 祭り− を開催しました - hamadakoichi blog 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思ってい
2011/01/16 "第9回 データマイニング+WEB 勉強会@東京−1st Week− 大規模解析・機械学習・クオンツ 祭り−"を開催しました。 第9回 データマイニング+WEB 勉強会@東京 ( TokyoWebmining 9)−1st Week− 大規模解析・機械学習・クオンツ 祭り−: ATND Google グループ ※会場参加者ID写真(id:bob3 さんに感謝) 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 今回、第9回では初めて開催期間を2週に渡り開催します(1/16, 23)。2週開催の目的は1."多くのテーマを対象とし"、かつ 、2."各テーマにしっかりと時間を充て、深い議論を行えるようにす
Mahout Clustering 実行の入力形式へ変換する DataConverter を実装してみた。以下に Source Code、Command line 実行方法も含め紹介します。 Mahout は Hadoop上で動作する大規模 Data Mining/Machine Learning の Library。Mahout Clustering Packageには、K-Means, Fuzzy K-Means, Canopy, Mean Shift, Latent Dirichlet Allocation 等、豊富な実装が提供されている。ただ Random Forest, FPGrowth 等の他のアルゴリズムと異なり、Mahout Clustering 実装は、専用のデータ入力形式を必要とする。発展途上による情報の少なさ、および、入力データ生成の手続きを各自が実装する必要があるこ
統計解析・データマイニングに特化した言語である R言語。 Hadoop Streaming を使った R言語でのMapReduce実装を以下に紹介。 Hadoop Streaming で標準入出力を用いデータの受け渡しを行い、files オプションで R の mapper, reducer を配布し実行。 例えば、WordCountはR言語のMapReduce実装で以下のように書ける。 mapper.r #!/usr/bin/Rscript con = file(description="stdin",open="r") while (length(line <- readLines(con, n = 1, warn = FALSE)) > 0) { line <- unlist(strsplit(line, "\t")) for(word in line){ cat(sprintf("%
2010/11/14 "第8回 データマイニング+WEB 勉強会@東京"を開催しました。 第8回 データマイニング+WEB 勉強会@東京 (Tokyo.Webmining#8) −大規模解析・ウェブ・クオンツ 祭り−: ATND Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場、USTREAMともに多くの方々の参加を嬉しく思っています。今後も「データマイニング+WEB 勉強会@東京」を、講師、参加者、双方にとってよりよい会としていきたいと思いますので、今後ともよろしくお願い致します。 次回は2011年1月 第2週か、3週の週末に開催予定です。みなさんぜひご参加下さい。 以下、講師資料一覧、ツイートまとめ、参加者の声、および、 次回第9回「大規模解析・自然言語処理・
2010/11/14(日) "第8回 データマイニング+WEB 勉強会@東京"を開催します。 現時点でタイトルを挙げて頂いているトークを以下に記載します(※タイトル等に修正があり次第、随時更新します)。最終タイトル・発表/議論時間の調整後、最終的なAGENDA確定し次第、ATND作成・アナウンスしますね ([Twitter:@hamadakoichi] , TokyoWebmining GoogleGroup でアナウンスします)。 追記 11/3: ATND作成しました。みなさんぜひご参加下さい。第8回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining #8)−大規模解析・ウェブ・クオンツ 祭り−: ATND 予定AGENDA ■Opening: O1."Openinig Talk"(講師:[Twitter:@hamadakoichi])(10分) O2."参加
「樹木モデルとランダムフォレスト−機械学習による分類・予測−」 の講師資料です。 Tree-based Models, Random Forests の入門的な内容です。 「樹木モデルとランダムフォレスト−機械学習による分類・予測−」−データマイニングセミナーView more presentations from Koichi Hamada. 関連資料 Introduction to Mahout Clustering - #TokyoWebmining #6 R勉強会 講師をしてきた: 「はじめてでもわかる 統計解析・データマイニング R言語入門」 - hamadakoichi blog 参考文献 Rによるデータサイエンス データ解析の基礎から最新手法まで 作者: 金明哲出版社/メーカー: 森北出版発売日: 2007/10/01メディア: 単行本(ソフトカバー)購入: 36人 クリック
2010/09/26 "第7回 データマイニング+WEB 勉強会@東京"を開催しました。 第7回 データマイニング+WEB 勉強会@東京 (Tokyo.Webmining#7) −機械学習・解析・セマンティックウェブ祭り−: ATND Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた [Twitter:@karubi] さん、[Twitter:@rinzo_rinrin]さん、 [Twitter:@nakamuu_m]さん、[Twitter:@yanaoki]さん、[Twitter:@ajiyoshi]さん、[Twitter:@yokkuns]さん、[Twitter:@buhii]さん、[Twitter:@doryokujin]さん、一緒に運営をしてくれた[Twitter:@yanaoki]さ
8/28(土)、第8回R勉強会@東京 (#TokyoR 08)に参加してきた。 ATND: 第8回R勉強会@東京(Tokyo.R#08) : ATND Google Group: Google グループ 主催者の[Twitter:@yokkuns]さん、講師の[Twitter:@bob3bob3]さん、[Twitter:@holidayworking]さん、[Twitter:@Nikoriks]さん、[Twitter:@aad34210]さん、素敵なトークをありがとうございました。主催しているデータマイング+WEB 勉強会@東京に参加してくれているメンバーも多く、毎月会う馴染みのメンバーになってきた。懇親会でも深く話すことができ、統計解析やデータマイニングを通じ、素敵なメンバーに出会え、交流できていることに感謝。 以下、ツイートまとめ(Togetter)、公開されている講師資料、の覚書き。
2010/08/22 "第6回 データマイニング+WEB 勉強会@東京"を開催しました。 第6回 データマイニング+WEB 勉強会@東京 (Tokyo.Webmining#6) −ソーシャル・広告・最適化祭り−: ATND Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた [Twitter:@karubi] さん、 [Twitter:@hirosuke_asano] さん、[Twitter:@satully]さん、[Twitter:@yamaz] さん、[Twitter:@mmlab_jp] さん、[Twitter:@oshiro40] さん 、ありがとうございました。運営進行を一緒にしてくれた[Twitter:@yanaoki]さん、HDのUSTREAM配信してくれた[Twitter:@bm
第7回R勉強会@東京 (#TokyoR 07)に参加してきた。 ATND: 第7回R勉強会@東京(Tokyo.R#07) : ATND Google Group: Google グループ 主催者の[Twitter:@yokkuns]さん、講師の[Twitter:@bob3bob3]さん、[Twitter:@yanashi]さん、[Twitter:@tyatsuta]さん、[Twitter:@mangantempy]さん、[Twitter:@sfchaos]さん、素敵なトークをありがとうございました。主催しているデータマイング+WEB 勉強会@東京に参加してくれているメンバーも多く、毎月会う馴染みのメンバーになってきた。懇親会でも深く話すことができ、統計解析やデータマイニングを通じ、素敵なメンバーに出会え、交流できていることに感謝。 以下、ツイートまとめ(Togetter)、公開されている講
Mahout でのデータマイニング。mahout.clustering.kmeans を使ったクラスター分析を実装してみた。Mahoutは、Hadoop上で動くデータマイニング・機械学習の各種アルゴリズムが実装されているライブラリ。 クラスター分析 クラスター分析の方法論自体の内容は以下のエントリにまとめてある。 R言語プログラミング: クラスター分析 - 階層的クラスタリング - hamadakoichi blog 第2回データマイニング+WEB 勉強会@東京 (Tokyo.Webmining#2) を開催しました - 「はじめてでもわかる R言語によるクラスター分析」 - hamadakoichi blog 第3回 データマイニング+WEB 勉強会@東京 (Tokyo.Webmining#3) を開催します - hamadakoichi blog R言語プログラミング: クラスター分析
「第1回 自然言語処理勉強会@東京 (#tokyotextmining)」(id:nokuno さん主催) に参加してきた。 ATND: 第1回 自然言語処理勉強会@東京 : ATND Google Group: Google グループ 素敵な会でした。主催者のid:nokuno さん、講師の id:sleepy_yoshi さん、id:n_shuyo さん、[Twitter:@PENGUINANA_] さん、 [Twitter:@suzuvie]さん、ありがとうございました。 また素敵な会場提供して下さった 株式会社ミクシィさんにも感謝。 以下、ツイートまとめ(Togetter)、各講師資料、メモ、の覚書き。 Togetter 第1回 自然言語処理勉強会@東京 (#tokyotextmining) - Togetter FSNLPの第1章を読む (id:nokuno, [Twitter:
データマイニングで Mahoutも使い始めてみた。 Mahoutは、Hadoop上で動くデータマイニング・機械学習の各種アルゴリズムが実装されているライブラリ。 導入手順を以下に記載します。 第5回データマイニング+WEB勉強会@東京で id:gogokarubi さんの手順紹介と第3回 パターン認識と機械学習(PRML)復習レーンでのアドバイスを含む、日頃からの karubiさんのアドバイスに感謝。 Mahout Download Mirror Apache Download Mirrors Version選択 http://ftp.riken.jp/net/apache/lucene/mahout/ 03を選択 JAR, Sourceのダウンロード JARもソースもダウンロードできる mahout-0.3.zip mahout-0.3-src.zip JARを入れる ダウンロードした
第3回 パターン認識と機械学習(PRML) 復習レーン に参加してきました。 ATND: PRML復習レーン(第3回) : ATND Google Group: Google グループ Twitter Time Lineまとめ(Togetter)と、各講師の方々の資料、メモを、覚書きとして以下に記載します。 ※各講師資料、アップされたら追加更新します。 Togetter 第3回 パターン認識と機械学習 復習レーン #PRMLrevenge #03 - Togetter 第2章(前回)のおさらい 2.1 ([Twitter:@ajiyoshi]) 2.2-3 ([Twitter:@nokuno]) PRML復習レーン 2.3 ガウス分布View more presentations from nokuno. ベイズ学習.pdf id:nokuno さんのエントリ:http://d.haten
次のページ
このページを最初にブックマークしてみませんか?
『hamadakoichi blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く