第42回 データマイニング+WEB ＠東京( #TokyoWebmining 42nd ) −深層学習・表現学習 徹底活用 祭り−を開催しました - hamadakoichi blog
第42回 データマイニング+WEB ＠東京( #TokyoWebmining 42nd ) −深層学習・表現学習 徹底活用 祭り− Eventbrite Google グループ 会場提供し運営を手伝って下さった FreakOut のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者Twitter List : tokyowebmining-42 参加者セキココ：第42回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB＠東京 につ
第36回 データマイニング+WEB＠東京( #TokyoWebmining 36th ) －確率モデリング・サービス活用 祭り－ を開催しました - hamadakoichi blog
2014/5/24 "第36回 データマイニング+WEB＠東京( #TokyoWebmining 36th ) −確率モデリング・サービス活用 祭り−"を開催しました。 第36回 データマイニング+WEB＠東京( #TokyoWebmining 36th ) −確率モデリング・サービス活用 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さったニフティのみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者Twitter List: Twitter List TokyoWebmining 36th 参加者セキココ：第36回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@
慶應義塾大学で「Mobageの大規模データマイニングとサービス洗練」の講義をします - hamadakoichi blog
2013/07/12(金) 慶應義塾大学 理工学部 で「Mobageの大規模データマイニングとサービス洗練」の講義をします。 慶應義塾大学 理工学部 e-ビジネスソフトウェア論 講義の機会を下さった 山口高平さんに感謝します。 講義概要 4900万人以上の登録会員をかかえるソーシャルゲームプラットフォーム「Mobage」では、1日35億超の行動情報が蓄積されています。これらの大規模行動データを対象に、日々データマイニング・機械学習等の各種方法論を活用したサービス開発・洗練を行い、ユーザ体験に還元しています。 実際のサービスで高い効果を出すためには実は単なる手法の知識だけでは不十分で、ユーザ価値高い課題設定、洗練サイクルまで考慮したサービス設計・ログ設計、等々、非常に重要な要素があります。また大規模データを活用するためには、分散技術を活用しいかにアルゴリズムを大規模分散させるかも同じく重要な
ソーシャルネットワーク上の伝搬法則の数理 - hamadakoichi blog
ソーシャルネットワーク上の情報拡散、病気感染の伝搬、などの複雑ネットワーク上の伝搬現象。これら現象の伝搬法則は共通の数理法則により記述され、その方程式を各状況に合わせ適用することにより様々のネットワーク上の伝搬現象を記述・予測することができます。 その数理法則を身につけて各ソーシャルネットワークでの伝搬へ応用できるようにするためには実際に数式展開していくのが一番なのですが、書籍では詳細を触れられていないなく初学者の方はフォローしづらい現状があります。今回、それらの数理展開が追えるように途中計算も記述した計算ノートを公開します（複雑ネットワークセミナーで話した 複雑ネットワーク―基礎から応用まで 第10章(最終章)の内容の数理展開です)。 複雑ネットワーク上の伝搬法則の数理 from Koichi Hamada 書籍 複雑ネットワーク―基礎から応用まで 作者: 増田直紀,今野紀雄出版社/メー
Perl で MapReduce - Mahout Frequent Pattern Mining Data - - hamadakoichi blog
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料： 第５回R勉強会＠東京 で話してきた - 「R言語によるアソシエーション
第23回 データマイニング+WEB＠東京( #TokyoWebmining 23rd)−大規模ソーシャルデータ・アクセス解析 祭り− を開催しました - hamadakoichi blog
2012/10/27 "第23回 データマイニング+WEB＠東京−大規模ソーシャルデータ・アクセス解析 祭り− "を開催しました。 第23回 データマイニング+WEB＠東京 ( #TokyoWebmining 23rd)−大規模ソーシャルデータ・アクセス解析 祭り− : Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining #23 参加者セキココ：第23回 データマイニング+WEB ＠東京 セキココ (作成してくれた @komiya_atsushi さんに
第４回R勉強会＠東京 で話してきた -「R言語による時系列分析」 - hamadakoichi blog
「R言語による時系列分析」を、第４回R勉強会＠東京 (2010/04/24) で話してきました。 第4回R勉強会＠東京（Tokyo.R#04） : ATND 双方向形式の進行で質疑応答も含め80分で行いました。 私の双方向形式の講義進行で発言・質問して下さった方々、懇親会で話せた方々、どうもありがとうございました。資料、ソースコード、実行結果を以下に記載します。 講師資料 [Ｒ勉強会][データマイニング] R言語による時系列分析View more presentations from Koichi Hamada. AGENDA 自己紹介 時系列分析とは データ操作 モデル 確率密度 期待値と分散 ARモデル ARMA/ARIMAモデル ARFIMAモデル ARCHモデル 最後に 資料中リンク 今回の資料アップではPowerpointの資料をキレイにSlideShareにアップする方法を行っ
第20回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 20th)−ソーシャル・大規模解析 祭り− を開催しました - hamadakoichi blog
2012/07/14 "第20回 データマイニング+WEB 勉強会＠東京−ソーシャル・大規模解析 祭り−"を開催しました。 第20回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 20th)−ソーシャル・大規模解析 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 会場風景： 参加者Twitter List: Twitter List TokyoWebmining#20 参加者セキココ：第20回 データマイニング+WEB ＠東京 セキココ (作成してくれた @Prunus1350 さんに感謝） 以下、
東京大学で「Mobageの大規模データマイニング」の講義をします - hamadakoichi blog
2012/06/29(金) 東京大学 学部横断型教育プログラム メディアコンテンツ特別講義で「Mobageの大規模データマイニング」の講義をします。 東京大学 学部横断型教育プログラム メディアコンテンツ特別講義2012(PDF) メディアコンテンツに関する学部横断型教育プログラム 講義の機会を頂き、各種調整をして下さった、相澤清晴さん、木戸冬子さん、喜連川優さんに感謝します。 本講義は情報理工学系研究科の学生に限らず、全学部横断で学部生・大学院生の参加が可能です。現在既に200名の参加登録があり、嬉しく思っています。 今回、講義資料は公開しない予定なので、みなさんぜひライブでご参加下さい。 メディアコンテンツ特別講義では、他にも魅力的な講師陣の講義が開催されています。興味がある方は合わせてぜひ。 第 1回（4/20）： E-Commerceとそれを支える技術、グローバリゼーションそして未
大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない
Mahout Programming : K-Means Clustering - hamadakoichi blog
Mahout でのデータマイニング。mahout.clustering.kmeans を使ったクラスター分析を実装してみた。Mahoutは、Hadoop上で動くデータマイニング・機械学習の各種アルゴリズムが実装されているライブラリ。 クラスター分析 クラスター分析の方法論自体の内容は以下のエントリにまとめてある。 R言語プログラミング： クラスター分析 - 階層的クラスタリング - hamadakoichi blog 第２回データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#2) を開催しました - 「はじめてでもわかる R言語によるクラスター分析」 - hamadakoichi blog 第３回 データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#3) を開催します - hamadakoichi blog R言語プログラミング： クラスター分析
データマイニングCROSS 2012を開催します - #TokyoWebmining x #TokyoR x #TokyoNLP x #DSIRNLP - #CROSS2012 - hamadakoichi blog
2012/01/27(金) CROSS 2012で「データマイニングCROSS - データマイニングの実ビジネス・サービス活用と展望」を開催します。 TokyoWebmining 主催の濱田晃一（id:hamadakoichi : [Twitter:@hamadakoichi]）とTokyo.R主催の里洋平（id:yokkuns : [Twitter:@yokkuns]）がモデレータを行い、TokyoNLPやDSIRNLPコミュニティ、医療・広告・検索・マーケティング・金融工学など各分野、幅広い方々に登壇して頂きます。 CROSS 2012 CROSS 2012は1000人規模のエンジニアコミュニティのクロスイベント。 以下のような技術コミュニティクロスのセッションが開催されます。 データマイニングCROSS (DataMining/MachineLearning/Statistics/R
「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog
電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」＠幕張メッセ国際会議場 で招待講演をしてきました。 「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、１日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗
第16回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り− を開催しました - hamadakoichi blog
2011/11/27 "第16回 データマイニング+WEB 勉強会＠東京−リアルタイム分散 Web解析・自然言語処理 祭り−"を開催しました。 第16回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(15分) 講師 ： id:hamadakoic
第15回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 15th)－統計・ビジネス活用 祭り－ を開催しました - hamadakoichi blog
2011/11/06 "第15回 データマイニング+WEB 勉強会＠東京−統計・ビジネス活用 祭り−"を開催しました。 第15回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 15th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(15分) 講師 ： id:hamadakoichi [Twitter:@hamadak
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
Mahout RandomForest Driver 実装法 -大規模分散 機械学習・判別 - - hamadakoichi blog
Apache Mahout は、Hadoop上で動作する大規模分散データマイニング・機械学習のライブラリ。 Random Forest は大規模データで高精度の分類・判別を実現するアルゴリズム。 Random Forestを、"R言語での実行のように容易"に "大規模分散 学習・判別"できるように、 Mahout を用いた各種 Driver を実装しました。 以下に実行方法、実装を紹介します。 org.mahoutjp.df.ForestDriver Random Forest の分散学習から、分散判別、判別結果出力、および、精度評価まで行う Driver。 org.mahoutjp.df.ForestClassificationDriver 生成された Forest Modelを用いて、分散判別、判別結果出力、および、精度評価まで行う Driver。 両 Driver とも、1コマンドで
Mahout JP を立ち上げました #MahoutJP - hamadakoichi blog
Hadoop上で動作する 大規模データマイニング・機械学習ライブラリ Apache Mahout に関し、技術情報まとめ・発信よる活用の裾野を広げることを目的としMahout JPを立ち上げました。 私も含め TokyoWebminingでMahoutに関する各種講師をしていたメンバーや、Tokyo.R、PRML会のメンバー含め、各業界のデータマイニング・機械学習で活動してきたメンバーで集まり、Mahoutに関する情報まとめ・発信をしていきます。 Mahout JP -Effective Applications of Apache Mahout in Japan- #MahoutJP 現在、Mahout はドキュメントがまだ整備されていなく、唯一ある書籍 Mahout in Actionでも情報が限られているため、実際に活用しようとするとソースコードから読み込む必要がある状態です。今回、
R言語による多変量時系列分析−Dynamic Conditional Correlation GARCH Model - hamadakoichi blog
R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードを用い紹介する。 例：複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R言語による時系列分析入門 R言語でのAR、ARMA/ARIMA、ARFIMA、ARCH、などの時系列モデルの入門資料（※１年前のTokyo.R 講師資料) http://d.hatena.ne.j
R言語による多変量時系列分析−Panel Linear Model - hamadakoichi blog
R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードも用い紹介する。 例：複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R Library 複数時系列の時系列分析として、R言語では plm 、 ccgarch 等のパッケージがあるが、今回は plm (Panel Linear Model) を紹介する。 ※参考：Pa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
