データマイニングは魔法の杖? Yahoo!、Gunosyら3社の事例- Tech Compass
レポート データマイニングは魔法の杖? Yahoo!、Gunosyら3社の事例- Tech Compass スマートデバイスが爆発的に普及し、それに呼応するかのようにWeb技術も急激に進化しつつある。IT/Webの世界は、そうした変化の大波に飲まれている。エンジニアがこの荒波に負けず生き残るためには、強力な「未来を指し示すコンパス」が必要となる──。 そうしたコンセプトで開催されている「Tech Compass」は、マイナビが主催するスキルアップ勉強会である。第4回となるセミナーが、竹橋のパレスサイドビル・マイナビルームで開催された。 今回のテーマは「データマイニングは魔法の杖か?」である。人気のWebサービスはデータマイニングが支えていると言われ、ビッグデータの活用がビジネスの成功に結びつくとして大きく注目されている。しかし一方で、データマイニングは万能ではないという意見もある。 データ
気象庁のデータが公開されたから1988年と2012年の最高気温推移を比べてみた - noriaki blog はてな出張所
気象庁が過去の気象データを公開しました 気象庁|過去の気象データ・ダウンロード 2013/05/01に公開されましたが、これはすごいデータですよね。1872年から昨日までのデータが毎日更新されています。140年分もの膨大なデータが表示・ダウンロードできます。 1988年と2012年の年間の最高気温推移を比較してみた というわけでさっそく試してみました。 表示・ダウンロードできる量が「地点数」×「項目数」×「期間」によって制限されているので、1回でダウンロードできる例として1988年から2012年の日別最高気温データをダウンロードしてみました。 日毎の最高気温をプロットしたグラフに7日間の移動平均線を追加して、それぞれの年を比較してみました。2012年の方が最高気温が高く推移しているように見えるかも。特に7〜9月は暑かった。逆に1，2月は気温が上がりきらなかったみたい。 気象庁のデータダウン
未経験者はどうすればデータサイエンティストになれるか - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年8月） こちらの記事へのアクセスが未だに多いようですが、書かれてから既に4年が経過しており業界事情もだいぶ様変わりしております。このブログの「データサイエンティスト」カテゴリの他の新しい記事も是非ご覧ください。 以前の記事の続き再び。前回に引き続きまさにお題の通りで「未経験者はどうすればデータサイエンティストになれるか」ということなんですが、 そんな方法論あったら誰も苦労しねーよ。 ってのはウソ。笑 とは言え、僕自身「自分はデータサイエンティスト」と嘯くぐらいのことはできますが*1、かと言って本当にデータサイエンティストって言えるの？と真顔で迫られたら色々もにょることもあるわけで*2。ある意味僕も未経験者からデータサイエンティストと称される職種に転じた人間なので。 もっとも、僕は一方でアカデミック業界にいた頃はデータマイニングを駆使するquantitative resear
協調フィルタリングについてまとめてみた。 - Analyze IT.
A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン
Jubatusを公開しました - Preferred Networks Research & Development
先日、NTTと共同研究開発したJubatusを公開しました。 OSSで公開されてますので、興味がある方は使ってみるなり、ソースコードを眺めるなり、できればプロジェクトに参加していただけたらと思います。 Jubatus（ユバタス）は、大規模分散上でリアルタイムで機械学習を行うためのフレームワークです。 このプロジェクトは元々、機械学習やデータ解析が好きなPFIと、ネットワークやシステム運用実績が豊富で技術力があるNTT情報流通プラットフォーム研究所と組んで何かできないかということで始めました。 「大規模分散」＋「リアルタイム」＋「深い解析」という三つの特徴を持った上でデータを分析するためにどのようなアーキテクチャが考えられて、その上でどのような解析ができるのかというのを日々試行錯誤して作っています。 今回はリリース第１段ということで、手法としては分類（教師有学習の多クラス分類）に絞ってOSS
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
第10回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 10th)−1st Week−広告ネットワーク・グラフ解析・並列機械学習 祭り− - nokunoの日記
第10回#TokyoWebminingに参加してきました。第10回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 10th)?1st... - Eventbrite オープニング @hamadakoichihamadaさんの話はHadoopカンファレンスからの抜粋を含んでいたのですが、いつもの双方向の進行により議論が進み、時間が伸びるというパターンで安心しましたｗ 1. 「エンジニアのためのアドテクノロジー再入門：アドテクの基礎からRealTimeBiddingまで」 (講師： @jazzyslide)(発表：30分 + 議論30分)大規模配信•解析技術によるターゲティング技術、オーディエンス(ユーザー)データによる配信などで近年話題になっているアドテクノロジーの全体観を、アドエクスチェンジやReal-Time-Biddingなどの概念を交えつつ、基礎からエン
Query Suggestion @ tokyotextmining#2
1) The document discusses query suggestion techniques using hitting time on graphs to model relationships between queries, reformulations, and URLs. 2) It presents algorithms for calculating the hitting time between nodes in a graph and using this to determine the likelihood of queries and URLs being related. 3) Experimental results on benchmark datasets show the hitting time approach achieves goo
Rakuten Institute of Technology | 楽天技術研究所
In order to surpass human intelligence, we must first observe and deeply understand the nuances of human behaviors and actions. As the R&D organization of the Rakuten Group, we research and develop technologies and algorithms to create new, valuable services. LEARN MORE In order to surpass human intelligence, we must first observe and deeply understand the nuances of human behaviors and actions. A
SBM研究会で発表した"私がチャレンジしたSBMデータマイニング"のスライド - Ryoの開発日記 Neo!
SBM研究会で"私がチャレンジしたSBMデータマイニング"という発表を行いましたが、そのスライドを置いておきます。 ・[2008/7/21 22:43 version final] ・http://www.slideshare.net/rawwell/sbm-presentation #リンク切れしていたので、どなたかがSlideshareにアップしたものにリンクw Change Logs ・2010/8/23 リンク切れを解決 ・2008/7/21 22:43 version final 初版の2倍以上にスライドを増やした。また、"個人による高性能データマイニング"の話を追加した。 ・2008/7/16 23:45 version 1.1 TF-IDFの説明が間違っているとの指摘を受け、説明部分を修正 ・2008/7/12 23:53 version 1 公開 SBM研究会の体験記
mixi Engineers’ Blog » おすすめマイミクシィ／コミュニティ
はじめまして。mixi開発部・運用グループでアプリケーションの運用を担当しているmikiokatoといいます。週に一日興味があることについて研究や開発ができるOneDayFree の制度を使って開発し、12月25日にリリースしたインディーズ機能「おすすめ マイミクシィ／コミュニティ」について書いてみたいと思います。 おすすめ マイミクシィ／コミュニティとは マイミクシィやコミュニティのリンクを分析して、マイミクシィになる可能性の高い人や興味がありそうなコミュニティをおすすめします。膨大な情報の中から検索などでユーザーにいろいろと探してもらうよりも、データを分析して興味がありそうなものをシステムからおすすめする試みです。 実際の画面はこちらです。 人によって精度は差があるので、結果がいい場合もよくない場合もありますが、マイミクシィやコミュニティの発見につながればと思います。では、どういった仕
＠IT Special － 中堅スーパーのデータ活用物語 第2回
中堅スーパーのデータ活用物語 ～はじまりはExcelのデータだった～ 「BIなんて人ごと」と思っていたシステム管理者の挑戦 第2回 Excelでお手軽データマイニングに挑戦！ 県内で全10店舗を運営する地方の中堅スーパー「フクフクドー」。ここでは、さらなる事業成長のための次の一手をどう創り出していくかが目下の課題。営業企画部からの救援要請があり、BI（Business Intelligence）の活用というアイデアの実現に向け一歩を踏み出した。とはいえ、従来型のBIはシステム規模も大がかりで、導入に多大な投資を要するうえ、使いこなすのも困難だと考えているIT部門のシステム管理担当者「番次郎」は慎重な態度を崩さない。最新のBI環境は、こうした慎重論を打破できるだろうか。若い現場担当者の熱意に押される形で、フクフクドーでBI活用の実地検証が始まった。奮闘が始まった。
Amazonで評判のいい商品はどれ？--BIGLOBEが解析
NECビッグローブ（BIGLOBE）は10月15日、クチコミ情報分析サイト「BIGLOBE みんなの評判」で、Amazon.co.jpのカスタマーレビューを分析したオリジナルランキングの提供を開始した。 NECサービスプラットフォーム研究所の評判情報分析技術を活用し、カスタマーレビューから評判に関する部分だけを自動的に抽出、集計した「レビュー数の多い商品ランキング」「特徴別ランキング」の2つのオリジナルランキングを提供する。 分析対象となるのは、Amazon.co.jpの「本」「ゲーム」「DVD」「ミュージック」「おもちゃ＆ホビー」「エレクトロニクス」「ヘルス＆ビューティ」の7ジャンルの売上ランキングベスト100の商品のカスタマーレビュー。 特徴別ランキングでは、カスタマーレビューでの登場頻度が高く、購入を検討する際に重視される商品の特徴がランキングで表示される。商品ジャンルごとに独自の切
第11回 マイニング伝説 | WIRED VISION
第11回 マイニング伝説 2007年9月28日 IT コメント： トラックバック (0) （これまでの増井俊之の「界面潮流」はこちら) データが大量にあるとき、特殊な計算を行なうことによって隠れた有用な情報を引き出せる可能性があります。大量のデータから有益な情報を抽出する手法はデータマイニングと呼ばれています。 データマイニングの効果に関してはビールと紙オムツの逸話が有名です。米国の大手スーパーで商品の購入の相関を調査したところ、週末の夜には何故かビールと紙オムツが同時に売れるということが判明したため、両者を同じ売場に置いたところ売上が大きく増加したというもので、スーパーでオムツを買って帰れと奥さんに言われた旦那がついでにビールも買って帰るのだと説明されることが多いようです。 販売データから自動的にこのような関係を計算できるというのは面白い話で、データマイニングの威力を示す好例として有名な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF] 文書クラスタリングの技法：文献レビュー - LIS049033.pdf
はじめてでもわかるベイズ分類器 －基礎からMahout実装まで－
相関マイニング（バスケット分析）
ネットワークマイニング（グラフ構造分析）
ライブドアブログ｜無料で豊富な機能が充実
TechCrunch | Startup and Technology News
