[B! datamining] manabouのブックマーク

データマイニングの話詰め合わせ

2. 自己紹介 • ところてん • @tokoroten • 株式会社NextInt 代表 • 怪文章職人 • 最近の活動 • データサイエンティスト養成読本ビジネス活用編 • 最近のお仕事 • 機械学習顧問（4社） • スマホアプリミドルウェア屋 • SIer • ECプラットフォーム • データ分析企業 • 新規事業コンサルティング（1社） • ゲームディレクター(1社) ↓共著 ↓寄稿↓共著 3. 目次 • 相撲の八百長を統計で見つける • 演習：論文を探してみよう • ソシャゲのガチャが壊れた話 • ソシャゲのランキングイベントの話 • Kickstarterにおける不正を見つけよう • 人工衛星と画像処理と金融 • その他、雑多な話いろいろ

manabou 2018/11/27

リンク

自然言語処理における前処理の種類とその威力 - Qiita

自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグや JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。前処理の種類と実装この節では以下に示す5つ

manabou 2017/04/18

リンク

異常検知でGo！ - Qiita

こんにちは。ちょびえです。4日めですがいかがお過ごしでしょうか？今日はGoで異常検知を試してみましたのでレポートしてみたいと思います。異常検知の世界ふつうのWebプログラマーの私がデータマイニングによる異常検知読んで、機械学習ってなんて便利なんだろう！？と驚いたと共に機械学習の魅力に引き込まれていきました。 https://github.com/muddydixon/fluent-plugin-anomalydetect のSDAR部分を再実装したものです。私は高校をドロップアウトしてるので線形代数周りの理解・実装でだいぶ難儀しましたが、良き実装があればなんとかなるもんだなぁ、、、とｗ anomalydetectorはChangeFinder部分のスムージングなどの実装は含んでいないのでこんな感じで作ってみてください。 package main import ( "fmt" "buf

manabou 2014/12/05

リンク

E1599 – エルゼビア社のテキスト・データ・マイニング方針とその論点

エルゼビア社のテキスト・データ・マイニング方針とその論点 2014年1月31日，エルゼビア社が，テキスト・データ・マイニング（TDM）に対する方針の更新を発表した。これに対して，7月には欧州の図書館関連団体等が方針の取り下げを求める質問状を送付し，同社はこれに回答を示した。本稿では一連の動きとその論点を紹介する。エルゼビア社が1月31日に更新した方針では，研究者による非商用目的でのTDMに係る条項が，学術研究機関におけるScience Directの契約に新たに含められることとなった。研究者は，エルゼビア社の開発者向けページ上で利用登録を行えば，APIキーが発行され，XMLやテキスト形式の全文データへAPIを介してアクセスできるようになり，TDMが可能となる。ただし，一括ダウンロードや画面のスクレイピングは禁止され，研究者がTDMの成果－スニペット（200文字以内に制限）や書誌データを含

manabou 2014/08/29

リンク

Contact Support

manabou 2014/06/02

リンク

第35回データマイニング+WEB＠東京( #TokyoWebmining 35th ) −サーベイ・オープンデータ活用祭り−を開催しました - hamadakoichi blog

2014/4/26 "第35回データマイニング+WEB ＠東京　( #TokyoWebmining 35th) −サーベイ・オープンデータ活用祭り−"を開催しました。第35回データマイニング+WEB＠東京 ( #TokyoWebmining 35th) − サーベイ・オープンデータ活用祭り−: Eventbrite Google グループ会場提供し運営を手伝って下さったニフティのみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。参加者ID・バックグラウンド一覧参加者Twitter List: Twitter List TokyoWebmining 35th 参加者セキココ：第35回データマイニング+WEB ＠東京セキココ (作成してくれた [Twitter:@

manabou 2014/04/27

リンク

協調フィルタリングについてまとめてみた。 - Analyze IT.

A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン

manabou 2014/03/26

リンク

第21回データマイニング+WEB＠東京( #TokyoWebmining 21th)－ソーシャルグラフ解析・ビジネス展開祭り－を開催しました - hamadakoichi blog

2012/08/26 "第21回データマイニング+WEB＠東京−ソーシャルグラフ解析・ビジネス展開祭り−"を開催しました。第21回データマイニング+WEB＠東京 ( #TokyoWebmining 21th)−ソーシャルグラフ解析・ビジネス展開祭り− : Eventbrite Google グループ会場提供し運営を手伝って下さったニフティ株式会社のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。参加者ID・バックグラウンド一覧：参加者Twitter List: Twitter List TokyoWebmining#21 参加者セキココ：第21回データマイニング+WEB ＠東京セキココ (作成してくれた @Prunus1350 さんに感謝）以下、全

manabou 2012/08/27

リンク

第19回データマイニング+WEB 勉強会＠東京( #TokyoWebmining 19th)－データ徹底活用・機械学習祭り－を開催しました - hamadakoichi blog

2012/06/23 "第19回データマイニング+WEB 勉強会＠東京−データ徹底活用・機械学習祭り−"を開催しました。第19回データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 19th)−データ徹底活用・機械学習祭り−: Eventbrite Google グループ会場提供し運営を手伝って下さったニフティ株式会社のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。参加者ID・バックグラウンド一覧：参加者Twitter List: Twitter List TokyoWebmining#19 (@horihorioさんに感謝）以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「

manabou 2012/06/24

リンク

第17回データマイニング+WEB 勉強会＠東京( #TokyoWebmining 17th)−分散機械学習・ビジネス展開祭り− を開催しました - hamadakoichi blog

2012/05/20 "第17回データマイニング+WEB 勉強会＠東京−分散機械学習・ビジネス展開祭り−"を開催しました。第17回データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 17th)−分散機械学習・ビジネス展開祭り−: Eventbrite Google グループ会場提供し運営を手伝って下さったニフティ株式会社のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。参加者ID・バックグラウンド一覧：参加者Twitter List: Twitter List TokyoWebmining#17 (@horihorioさんに感謝）以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1

manabou 2012/05/21

リンク

「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog

電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」＠幕張メッセ国際会議場で招待講演をしてきました。「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、１日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗

manabou 2011/12/30

リンク

第15回データマイニング+WEB 勉強会＠東京( #TokyoWebmining 15th)－統計・ビジネス活用祭り－を開催しました - hamadakoichi blog

2011/11/06 "第15回データマイニング+WEB 勉強会＠東京−統計・ビジネス活用祭り−"を開催しました。第15回データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 15th)−大規模分散データマイニング祭り−: Eventbrite Google グループ会場提供し運営を手伝って下さったニフティ株式会社のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。参加者ID・バックグラウンド一覧：以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京について」(15分) 講師： id:hamadakoichi [Twitter:@hamadak

manabou 2011/11/07

リンク

第14回データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング祭り－を開催しました - hamadakoichi blog

2011/10/16 "第14回データマイニング+WEB 勉強会＠東京"を開催しました。第14回データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング祭り−: Eventbrite Google グループ会場提供し運営を手伝って下さったニフティ株式会社のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。参加者ID・バックグラウンド一覧：以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京について」(10分) 講師： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト

manabou 2011/10/17

リンク

TwitterにおけるHadoopとLuceneを利用した大規模データ解析について - nokunoの日記

Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitter エンジニアの@squarecogさんと

manabou 2011/04/21

リンク

第９回データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −2nd Week−方法論・ソーシャル祭り− を開催しました - hamadakoichi blog

2011/01/23 "第９回データマイニング+WEB 勉強会＠東京−2nd Week−方法論・ソーシャル祭り−"を開催しました。第９回データマイニング+WEB 勉強会＠東京　( TokyoWebmining 9)−2ndW−方法論・ソーシャル祭り−: ATND Google グループ ※会場参加者ID写真（id:bob3 さんに感謝) 1st Week内容まとめ：第９回データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −1st Week− 大規模解析・機械学習・クオンツ祭り− を開催しました - hamadakoichi blog 会場提供し運営を手伝って下さったニフティ株式会社のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思ってい

manabou 2011/01/24

リンク

Home - ISA-Ali

Our Java courses are 100% practical and up-to-date. You’ll learn Java Core, Maven, Git, Spring (Core, MVC, Security, Boot), Hibernate. All the essentials of the profession – and nothing unnecessary. All of our students participate in teams in real projects, remotely. You’ll sharpen your theory, gain teamwork skills, and gain practical experience for your resume.