CatTail Wiki*
２つのデータが似ている度合いを，類似度の大きさや距離の近さといった数値にしてあらわすことで，クラスタ分析や，k-近傍法，多次元尺度構成法(MDS)をはじめとするいろいろな分析を行うことが可能となる． ここでは，よく知られている類似度や距離について述べる． 類似度という概念は，２つの集合の要素がまさにどれだけ似ているかを数量化したものであり，距離とは，要素同士の離れ具合，従って非類似度とちかい概念と考えてもよい． 参考までに数学における距離の概念の定義を示すと， 距離空間の定義 Sを１つの空でない集合とし，dをSで定義された2変数の実数値関数 d(SxS) → R が，以下の４条件（距離の公理） D1 ： （非負性） 任意のx,y∈Sに対して d(x,y)≧0． D2 ： （非退化性） x,y∈Sに対し d(x,y)=0 ⇔ x=y． D3 ： （対称性） 任意のx,y∈Sに対して d(x
第25回 データマイニング+WEB＠東京( #TokyoWebmining 25th) −大規模分散 高速解析・ユーザ徹底理解 祭り− を開催しました - hamadakoichi blog
2013/3/23 "第25回 データマイニング+WEB＠東京−大規模分散 高速解析・ユーザ徹底理解 祭り−"を開催しました。 第25回 データマイニング+WEB＠東京 ( #TokyoWebmining 25th)−大規模分散 高速解析・ユーザ徹底理解 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 25th 参加者セキココ：第25回 データマイニング+WEB ＠東京 セキココ (作成してくれた @komiya_atsushi さんに感謝
データからの知識発見('12)
講義一覧 > データからの知識発見 > Last Modified: 1章 2章 3章 4章 5章 6章 7章 8章 9章 10章 11章 12章 13章 14章 15章 訂正等 このサイトついて このWebサイトは秋光が主任講師を担当している 放送大学の専門科目 「データからの知識発見('12)」 のための補助資料などを掲載しています. 科目は平成27年度で閉講しました。 資料については各章ごとにページを分けています. 上記のナビから見たい章を選んでご利用ください. これらのページは放送大学の学生や講義の受講生に限らず, 一般に公開しています. 受講生以外の方がご利用になるのは自由ですが, 自己責任にてご利用ください. また, このサイトのデザインや内容については予告なく変更することがあります. サイトをご覧になったからのお問い合わせについては 必ずしもお返事できるとは限りませんが, 修
#mixi_engineers #3 データマイニング
しましま @shima__shima 本日 mixi さんのセミナー http://t.co/7pVafJxX で2番目にお話をさせていただく神嶌です．拡張版資料を http://t.co/oKlg55Jj の「推薦システムに関する講演・講義資料」にて配布しています． #mixi_engineers 2012-02-02 09:18:51 しましま @shima__shima 前半は推薦システムのアルゴリズムについて，メモリベース型手法，行列分解，確率モデルと，どういった拡張があるかということについて概念的な話させていただきます．アルゴリズムの詳細までは時間的に無理なので，そのあたりは資料をご覧下さい． #mixi_engineers 2012-02-02 09:24:10 しましま @shima__shima 後半は，推薦システムの研究トピックについて，一般のニュースサイトなどではみかけ
楽天エンジニアが挑む、ビッグデータの分析・活用とは｜【Tech総研】
楽天市場の商品数は約8800万。会員数7000万人超がアクセスするトラフィックはピーク時に20Gbpsを超える。同社は、このビッグデータをどのように解析し、活用しているのか。最前線で活躍するエンジニアに聞いた。 ユーザーからのアクセスログは、Eコマースを運営する事業者に、貴重な情報をもたらす。どのような画面遷移で購入ページにたどり着き、何を購入したか。その行動分析と販売データには、新たなビジネスチャンスとなる宝の山があるからである。 一例を挙げれば、Webサービスの場合、よりユーザーの心に響くレコメンデーションの提供につながり、表示される画面のパーソナライゼーションを可能にする。他にも、サービスの品質を大きく向上させる様々なマーケティングデータとしての活用が可能だ。このように、多様な価値が潜むユーザーの大量のアクセスログは、事業者から見ればまさに宝の山と言えるだろう。 ピークタイムには1分
「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog
電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」＠幕張メッセ国際会議場 で招待講演をしてきました。 「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、１日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗
R による統計処理
「Rによる統計解析」 オーム社 刊 サポートページ 目次 第1章 Rを使ってみる 第2章 データの取り扱い方 第3章 一変量統計 第4章 二変量統計 第5章 検定と推定 第6章 多変量解析 第7章 統合化された関数を利用する 第8章 データ分析の例 付録A Rの解説 付録B Rの参考図書など はじめに R とは何か，何ができるかのリンク集（日本のもののみ） R を使うためにはどうしたらいいの？ データなどの読み書き R の定石（R に限らずプログラミングの定石も） R を使って実際に統計解析をする AtoZ 一連の流れ データファイルの準備をする 分析してみる 分析結果を LaTeX で処理したり，ワープロに貼り込んだりする 道具立て 連続変数データをカテゴリーデータに変換 カテゴリーデータの再カテゴリー化 度数分布表と度数分布図の作成 散布図・箱髭図の描画 クロス集計（独立性の検定，フィ
第16回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り− を開催しました - hamadakoichi blog
2011/11/27 "第16回 データマイニング+WEB 勉強会＠東京−リアルタイム分散 Web解析・自然言語処理 祭り−"を開催しました。 第16回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(15分) 講師 ： id:hamadakoic
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
機械学習 - 機械学習の「朱鷺の杜Wiki」
機械学習とは，Arther Samuel によれば「明示的にプログラミングすることなく，コンピュータに行動させるようにする科学」 のことです． 歴史的には，人工知能の研究分野の中で，人間が日々の実体験から得られる情報の中から，後に再利用できそうな知識を獲得していく過程を，コンピュータにおいて実現したいという動機から生じました． 現在では，数値・文字・画像・音声など多種多様なデータの中から，規則性・パターン・知識を発見し，現状を把握や将来の予測をしたりするのにその知識を役立てることが目的となっています． しましまの私見に基づいて，機械学習の各種の問題を整理しました． ↑ 他分野との関連† 確率論：機械学習で扱うデータは，いろいろな不確定要素の影響を受けており，こうして生じた曖昧さを扱うために利用されます． 統計：観測されたデータを処理する手法として長く研究されてきたため深い関連があります．特
転職（失敗）しました - あんちべ！
テキストマイニング、自然言語処理をしたいという強い思いから転職活動をした…ら失敗しました。以下、転職（失敗）活動経緯をまとめます。また、今回作成した履歴書と職務経歴書を公開致します。私自身初めての転職活動であり、職務経歴書を書いた経験が無いため苦労しました。拙いものですが、何かご参考になるようでしたら幸いです。履歴書 職務経歴書 ・2009年入社前後経済学科でテキストマイニングや社会ネットワーク理論などを研究し、コミュニケーション活性化などに興味を持つ。それを活かしてSNS系のベンチャー行くか大企業行くか迷うが、ベンチャーは実力さえあれば今でなくても行ける、大企業は新卒のレールに乗らないとまず入れない。大企業特有の「大規模な資金・頭数を、牛のような腰の重さでマネジメント」する機会は新卒の今しかないと思い、最初は大企業で学ぼうと現職を選択。 ・2010年不自然言語処理コンテストに出たり、no
KH Coder: 計量テキスト分析・テキストマイニングのためのフリーソフトウェア
概要と特長 KH Coderとは、計量テキスト分析またはテキストマイニングのためのフリーソフトウェア（自由ソフトウェア）です。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介（スクリーンショット） スクリーンショット集 ［旧ページ：言葉・文書・可視化・他］ KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.01) 使い方を知るためのチュートリアル ヘルプ 質問＆エラー報告用の掲示板 ※投稿にはGitHubへの登録が必要（無料）［旧掲示板］ よくある質問（FAQ） 開発者が語る公式セミナー & サポー
FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
中国でデータマイニングのアウトソーシングが流行、高級GPUがバカ売れ | スラド
中国において、データマイニングのアウトソーシングを引き受ける業者が急増しているらしい。ASCII.jpの記事によると、バーチャル貨幣「Bitcoin」の登場と、Bitcoinを対価としたデータマイニングを仲介するソフトが登場したのがきっかけとのこと。中国の大手オンラインショッピングサイト淘宝網にはBitcoinとリアルマネーの両替所が登場しており、これにより「データマイニングを請け負ってBitcoinを稼ぎ、換金する」という流れができあがったそうだ。 そしてそのような背景の下、中国ではデータマイニングに使用する「高級グラフィックボードを搭載した高性能PC」がバカ売れしているそうだ。記事ではこのような作業を行う人たちを「ネット鉱夫」と称している。
統計・解析ビジネスユーザー必読のデータマイニング本 - データサイエンティスト上がりのDX参謀・起業家
久々の更新です。前々から注目していた『Data Mining and Statistics for Decision Making』が届きました。ちょっと読んだだけでも、ここ数年で一番の応用本だと感じました。単なる応用本ではなく、解析やデータマイニングがビジネスに利用されることを非常に強く意識されている内容です。 Data Mining and Statistics for Decision Making (Wiley Series in Computational Statistics) 作者: Stéphane Tufféry出版社/メーカー: Wiley発売日: 2011/04/18メディア: ハードカバー購入: 15人 クリック: 478回この商品を含むブログ (2件) を見る 見出しを読むだけでも素晴らしいのが分かります。おしゃれStatistics勉強会で使っている『Stati
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
