協調フィルタリングについてまとめてみた。 - Analyze IT.
A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン
勇気を出して初めてのデータ分析 - データサイエンティストを目指して（１） -: 知財ファイナンス・モデリング
今日は社会人がデータ分析をどのように独学で身に着けていけばいいかということを考えます。 ビッグデータがバズワードとなって以来、花形の学問のひとつとなったのが「統計学」です。統計学が重要なのは今も昔も変わらないわけですが、かつてはデータの分析になんて興味がなかった会社や部門がデータ分析を業務に役立てようとした結果、需要が増しています。 さて、私は社会人になってから統計学の素晴らしさを体感して勉強を始めました。筑波大学のビジネススクール（GSSM）で椿広計先生という大家の講義を受けて開眼しました。そういう意味では実に幸運だったと思います。 スクールに通って統計学を身に着けるというのも一つの手なのでしょうが、万人がスクーリングできるわけではありません。独学で身に着けて行かないといけない人が大半ではないでしょうか。大丈夫です。独学でも統計学を使いこなせるようになります。「数学」なんて・・・。という
データサイエンティストは「アルゴリズム実装系」と「アドホック分析系」とに分けた方が良いかも - 渋谷駅前で働くデータサイエンティストのブログ
最近色々なデータ分析の現場の方々と意見交換したり一緒に飲んだりするようになり、ますます現場ごとの仕事のやり方の違いや雰囲気の違い、はたまた価値観の違いといったことについてそこそこ深く知るようになってきました。 おかげさまで、今の僕の立ち位置は「データサイエンティストのエバンジェリスト」みたいな感じになってきておりまして*1、むしろもっと本業*2を頑張らねばと焦っているところです（笑）。ということでそんな中で思うようになってきたことを今回はちろっと。 最近何となく感じてる「データサイエンティスト」の境界線について 実は「データサイエンティスト」そのものと他の職種との境界線も変わってきたのかなという気がしてる一方で、「データサイエンティスト」の「中」にも内部区分としての境界線が引けそうだなぁという気もしてます、という。 データサイエンティストの新・3要素 まず、5月の講演会でお話した「データサ
『データ解析のための統計モデリング入門』のレビュー｜Colorless Green Ideas
一般化線型モデルと呼ばれる統計手法やその応用を紹介した本の書評。統計を使った学術研究がいかにいい加減なものであるか鋭く指摘している。 はじめに 『データ解析のための統計モデリング入門』という本を読んだので、その内容を簡単に紹介したい。この本では、一般化線型モデルと呼ばれる統計手法やその応用が紹介されており、R と WinBUGS というソフトが実際の解析に用いられている。 久保拓弥 (2012). 『データ解析のための統計モデリング入門―一般化線形モデル・階層ベイズモデル・MCMC』 東京：岩波書店． この本は、全般的に説明があっさりとしている。このため、一般化線型モデルをしっかり学びたいのならば、（英語で書かれた）厚めの教科書を読んだ方が良いと私は思う。ただし、この本は、統計を使った学術研究がいかにいい加減なものであるか鋭く指摘している。この耳に痛い指摘は、統計を使って仕事をする人にとっ
Head Firstデータ解析
初心者にも分かりやすいと人気のHead Firstシリーズのデータ解析バージョン。大量で複雑なデータを分析し、意味のある適切な情報にまとめて把握し、効果的に見せる手法は、ビジネスでも研究でも必須のスキルです。本書ではデータの収集、整理、視覚化、解析、そしてプレゼンテーションというデータ解析の手順に沿って、実際に手を動かしながらやさしく解説します。エクセルやRをはじめさまざまなデータ解析ツールを使って効果的なデータの提示方法が身につくように構成されています。『Head First Statistics』とともに読むとさらに効果的。実践で役立つ情報が満載の一冊です。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施され
[データマイニング+WEB勉強会][R勉強会] R言語によるクラスター分析 - 活用編
データマイニング+WEB勉強会 第３回（2010/04/17）での講義資料です。「R言語によるクラスター分析 - 活用編」 hamadakoichi 濱田晃一。 途中、質問・議論をはさむ双方向形式で進行し、２時間の講義を行いました。 Read less
![[データマイニング+WEB勉強会][R勉強会] R言語によるクラスター分析 - 活用編](https://cdn-ak-scissors.b.st-hatena.com/image/square/52687d109360ac1f433027823a8d375bae826956/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcluster-100416230155-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
データマイニング - Wikipedia
データマイニング（英語: data mining）とは、統計学、パターン認識、人工知能等のデータ解析の技法を大量のデータに網羅的に適用することで知識を取り出す技術のことである。DMと略して呼ばれる事もある。通常のデータの扱い方からは想像が及びにくい、ヒューリスティク（heuristic、発見的）な知識獲得が可能であるという期待を含意していることが多い。とくにテキストを対象とするものをテキストマイニング、そのなかでもウェブページを対象にしたものをウェブマイニングと呼ぶ。英語では"data mining"の語の直接の起源となった研究分野であるknowledge-discovery in databases（データベースからの知識発見）の頭文字をとってKDDとも呼ばれる。 定義[編集] データマイニングの定義としては、「明示されておらず今まで知られていなかったが、役立つ可能性があり、かつ、自明で
顧客分析、マーケティング、Webログ解析などへの機械学習、統計的学習によるデータマイニングの基礎
顧客分析、マーケティング、Webログ解析などへの機械学習、統計的学習によるデータマイニングの基礎 1 day ago Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 顧客分析、マーケティング、Webログ解析などへの機械学習、統計的学習によるデータマイニングの基礎 - Presentation Transcript 2011年 SASユーザー総会 iAnalysis合同会社最高解析責任者 倉橋一成 1 博士課程：東京大学疫学・生物統計学教室（2011年3月卒） 現在：東大病院企画情報運営部 ◦ 最先端プロジェクト ◦ 電子カルテのデータ
リコメンデーションコンテスト2010 - 実践データマイニング研究部会
主催 日本オペレーションズ・リサーチ学会 実践的データマイニング研究部会 協賛 経営情報学会関西支部 株式会社 玉屋 ビジネスマイニング研究センター有限責任事業組合 趣旨 ファッションは実に多くの要素を持つデータとして分解することが可能であり、それに基づいて行われる人間の選択は大変興味深いものがあります。一般のPOSデータでは、単に商品名（あるブランドのスーツなど）と売上高はわかるものの、その商品がなぜ選択され、どうして人気があるのかといったことは、なかなかそれだけではわかりません。実際には、商品の色の状態、模様、形などを表現している画像データ、商品の特性、そしてそれを選択した人の個人属性や嗜好などは、商品選択に大きな影響を与えることが予想されます。このようにできるだけ多くのファッション選択にかかわる要素に特化したデータは調べた限り利用できるものはないため、本研究部会では、でき
31データクレンジング方法
データマイニングでは、データが膨大となっている場合があります。ここまでデータ量が大きくなると計算量の問題で解析時間がかかりすぎるという問題が起き、色々なデータマイニング技法を試行することができません。 それでは、大規模データに対抗するためにどうしたらいいでしょう？ 今、著者が思いついたものを挙げてみると １．高速なマシンに期待する ２．大規模でも計算する手法を編み出す ３．仮説を立てて絞り込んで挑戦 ４．サンプリングして、そこそこの量のデータで試す ５．それでもじっくり処理が終わるのを待つ ということをとりあえず思いつきました。（他にある場合は教えてください） それでは、以上の項目をデータマイニングとして検討してみましょう。 【１番：高速なマシンに期待する】高速マシンに投資することは基本的に有効です。30年前の計算機ではどうやっても不可能であった計算処理であっても技術
Mahout JP を立ち上げました #MahoutJP - hamadakoichi blog
Hadoop上で動作する 大規模データマイニング・機械学習ライブラリ Apache Mahout に関し、技術情報まとめ・発信よる活用の裾野を広げることを目的としMahout JPを立ち上げました。 私も含め TokyoWebminingでMahoutに関する各種講師をしていたメンバーや、Tokyo.R、PRML会のメンバー含め、各業界のデータマイニング・機械学習で活動してきたメンバーで集まり、Mahoutに関する情報まとめ・発信をしていきます。 Mahout JP -Effective Applications of Apache Mahout in Japan- #MahoutJP 現在、Mahout はドキュメントがまだ整備されていなく、唯一ある書籍 Mahout in Actionでも情報が限られているため、実際に活用しようとするとソースコードから読み込む必要がある状態です。今回、
livedoor Techブログ : livedoor グルメの DataSet を公開
櫛井です。 以前 livedoor clip のデータを学術研究用に公開しましたが，おかげさまで，たまに発表等で livedoor clip という名前が引用されているのを見かけるようにもなり感慨深い限りです。 さて，今回は第二弾としまして，livedoor グルメのデータをまとめてダウンロード & 利用可能にしようと思います。 今回はいろいろと余裕がなかったため 豪華なイラスト付きページが用意できませんでした livedoor clip のデータとは違い，定期アップデートはされません。2011年4月22日の時点のデータのみとなります ...が，なにかしら皆様の研究のお役に立てればと思います。 よくありそうな質問と答え ライブドアグルメのユーザですが，自分の個人情報が公開されちゃうってこと？困ります！ 公開されるのは，もともとライブドアグルメのサイトで誰でも見れるようになっている情報だけで
交差検定 - Wikipedia
交差検定（英: Cross-validation）とは、統計学において標本データを分割し、その一部をまず解析して、残る部分を最初の解析の仮説検定に用いる手法[1] [2] [3]。 最初に解析するデータを「訓練事例（training set）」などと呼び、他のデータを「テスト事例（testing sets）」などと呼ぶ。 交差検定は Seymour Geisser が生み出した。特にそれ以上標本を集めるのが困難（危険だったり、コストがかかったり）な場合、データが示唆する仮説を検証することに慎重になる必要がある。 [編集] 交差検定の主な種類 [編集] ホールドアウト検定 一般にホールドアウト検定は交差検定には分類されない。なぜなら、データを交差させることがないためである。初期標本群から事例を無作為に選択してテスト事例を形成し、残る事例を訓練事例とする。テスト事例に使われるのは初期の標本群の
第3回さくさくテキストマイニング勉強会に参加しました #sakuTextMining - nokunoの日記
というわけで参加してきました。会場は数理システムさんです。第3回 さくさくテキストマイニング勉強会 : ATND 入門セッション（AntiBayesian）第三回さくさくテキストマイニング勉強会 入門セッション View more presentations from AntiBayesian 単語重要度入門 〜テキストをダイエットさせよう〜（ toilet_lunch ） TF*IDFの話 えっ私のテキストマイニング力低すぎ！？ 例：大量のアンケートの自由回答文から重要な単語を抜き出す 例：エビオス嬢についての文章 TF*IDFとは TF（単語の頻度） * IDF（単語が含まれる文書割合の逆数（の対数）） 直感的ば解釈：ある文書でよく使われていて、他の文書ではあまり使われていない単語は、その文書をよく表している なんで対数取るんだっけ・・・ IDFの影響が大きすぎるので小さくしたい→対数
[Ｒ勉強会][データマイニング] R言語による時系列分析
第4回R勉強会＠東京(10/4/24)の講師資料です。hamadakoichi R言語による時系列分析。 Read less
![[Ｒ勉強会][データマイニング] R言語による時系列分析](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1400933dedc843cedb02dc299edefd6e0d94c1f/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fr-100423232629-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニアのための『仕事・職場・転職』応援サイト Ｔｅｃｈ総研
データマイニング2010 - データベース高度利用者養成
衣袋宏美のデータハックス コーナーの記事一覧 | Web担当者Forum