ビッグデータのクラスタリングがパソコンで可能に－少ないメモリー容量でも高速に処理できる手法を開発 - 国立情報学研究所 / National Institute of Informatics
大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NII）コンテンツ科学研究系特任研究員 松井 勇佑（まつい・ゆうすけ）、株式会社ドワンゴ メディアヴィレッジ研究開発グループ グループリーダー 大垣 慶介（おおがき・けいすけ）、国立大学法人 東京大学 大学院情報理工学系研究科 電子情報学専攻 教授 相澤 清晴（あいざわ・きよはる）、同 准教授 山崎 俊彦（やまさき・としひこ）の研究グループは、データ処理の基本操作であるクラスタリングを、10億個程度のビッグデータに対して、高速で、かつ、少ないメモリー容量で実行できる実用性の高い手法を開発しました。これにより、例えばソーシャルメディアの膨大な画像データを一般的なパソコンでも手軽に処理することが可能となります。一般の技術者や研究者にもビッグデータの扱いが容易になるため、深層学習を応用した人工知能（AI）の開発をはじめとする広い分野
SmartNewsを支える機械学習
ニュースアプリSmartNews(https://www.smartnews.be/)の背景のアルゴリズムについてTokyoWebMining30th(http://tokyowebmining30.eventbrite.com/)で話させていただいた際の資料です。 •SmartNews iphone版: https://itunes.apple.com/jp/app/id579581125 •SmartNews Android版 https://play.google.com/store/apps/details?id=jp.gocro.smartnews.android •SmartNews開発者ブログ http://developer.smartnews.be/blog/Read less
隠れMarkovモデル - 機械学習の「朱鷺の杜Wiki」
隠れMarkovモデル (hidden Markov model)† 状態を潜在変数となっているMarkovモデルに状態に依存した観測変数のシンボルの出力確率 \(b_j(k)=\Pr[v_k|q_t=S_j]\) を加えたもの． すなわち，初期状態分布 π，遷移確率分布 A，観測変数のシンボルの出力分布 B で定義される． 隠れMarkovモデル：\(\lambda=(A,B,\pi)\) 潜在変数である状態：\(\{S_i\}_i^N\) 遷移確率分布 \(A\)：時刻 t で状態 \(S_j\) へ遷移する確率 \[\Pr[q_t=S_j|q_{t-1}=S_i,\ldots,q_{t-n}=S_k]\] 観測シンボル確率分布 \(B\)：状態 \(S_j\) でシンボル \(v_k\) が出力される確率 \[b_j(k)=\Pr[v_k|q_t=S_j]\] 初期状態分布 \(\p
クラスタリングの定番アルゴリズム「K-means法」をビジュアライズしてみた
集合知プログラミング を読んでいたら、K-means 法（K平均法）の説明が出てきました。 K-means 法はクラスタリングを行うための定番のアルゴリズムらしいです。存在は知っていたんだけどいまいちピンときていなかったので、動作を理解するためにサンプルを作ってみました。 クリックすると１ステップずつ動かすことができます。クラスタの数や点の数を変更して、Restart を押すと好きなパラメータで試すことができます。 こうやって１ステップずつ確認しながら動かしてみると、意外に単純な仕組みなのが実感できました。 (追記) HTML5 版の K-means 法を D3.js でビジュアライズしてみた も作成しました。Flash を表示できない環境ではそちらをご覧ください。 K-means 法とは K平均法 - Wikipedia に詳しく書いてあるけど、もうすこしザックリと書くとこんなイメージに
k平均法 - Wikipedia
k平均法（kへいきんほう、英: k-means clustering）は、非階層型クラスタリングのアルゴリズム。クラスタの平均を用い、与えられたクラスタ数k個に分類することから、MacQueen がこのように命名した。k-平均法（k-means）、c-平均法（c-means）とも呼ばれる。 何度か再発見されており、まず、Hugo Steinhusが1957年に発表し[1]、Stuart Lloydが1957年に考案し、E.W.Forgyが1965年に発表し[2]、James MacQueenが1967年に発表しk-meansと命名した[3]。 数式で表現すると、下記最適化問題を解くアルゴリズム[4]。本アルゴリズムでは最小値ではなく初期値依存の極小値に収束する。 単純なアルゴリズムであり、広く用いられている。分類をファジィ化したファジィc-平均法やエントロピー法をはじめ、データ構造を発見す
k-means法 - 機械学習の「朱鷺の杜Wiki」
k-means法 (k-means method)† 次の目的関数を最小化する分割最適化クラスタリングの代表的手法． \[\mathrm{Err}(\{X_i\})=\sum_i^k\;\sum_{\mathbf{x}\in X_i}\;{\|\mathbf{x} - \bar{\mathbf{x}}_i\|}^2\] ただし，データ集合 \(X\) は，ベクトルで表現されたデータ \(\mathbf{x}\) の集合． クラスタ \(X_i\) は，データ集合の網羅的で互いに素な部分集合． \(\bar{\mathbf{x}}_i\) は \(X_i\) 中の重心(セントロイドともいう)． \(\|\cdot\|\) はユークリッドノルム． ↑ アルゴリズム† 入力はデータ集合 \(X\) とクラスタ数 \(k\)，および最大反復数 maxIter． 初期化：データ集合をランダムに \(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
