Zinniaの多クラス分類法 - 射撃しつつ前転 改
ZinniaというSVMベースの新しい手書き文字認識エンジンがリリースされたので、早速ソースコードを少し読んでみた。 文字認識というのは、機械学習では多クラス分類という問題に分類される。しかもクラス数が認識したい文字数（数千文字程度だろう）分だけ存在するという、なかなか計算量的に厳しい問題である。二値分類器を使って多値分類器を構成する方法にはone vs rest, one vs one, その他にもいろいろあるらしいが、その中のどれを使っているのかというところに興味があった。Webによると、50〜100文字/秒の認識速度と書いてあったので、コードを読む前の予測としては、one vs oneかなーと思っていた。（速度的にはone vs oneの方がone vs restより速い。） しかし、そんな予想を裏切り、recognizer.cppの148行めあたりからには以下のようなコードが書いて
OLL: オンライン機械学習ライブラリをリリースしました。 - DO++
様々なオンライン学習手法をサポートしたライブラリ「OLL (Online-Learning Library)」をリリースしました。 プロジェクトページ 日本語詳細ページ 学習、推定を行なう単体プログラムと、C++ライブラリからなります。（C++ライブラリ解説はまだ）。 New BSDライセンス上で自由に使えます。使った場合は感想や苦情などいただけると幸いです。 オンライン学習とは、一つずつ訓練データを見てパラメータを更新していく手法で、訓練データをまとめて見てから学習するバッチ学習（SVMs, 最大エントロピー法）と比べて非常に効率良く学習を行なうことができます。それでいながらSVMs, やMEsに匹敵する精度が出ます。 学習するデータの性質にもよりますが、例えば、英語の文書分類タスクで、15000訓練例、130万種類の素性の訓練データに対する学習が1秒未満で終わります（SVMsだと実装に
DO++: 教師あり学習の比較
ICML2006に興味深い論文がありました。 "An Empirical Comparison of Supervised Learning Algorithm", Rich Caruana caruana and Alexandru Niculescu-Mizil [link] 90年代初め以降、数多くの画期的な教師あり学習が提案されてきましたが、どれがいいかを包括的に比較したことはあまりありませんでした （文書分類などでは、SVMとAda-boosting 強いねということだったのですが Sebastiani@ACM Survey 2002） 決着をつけようじゃないかということで、11の問題に対してハイパーパラメータも完璧にチューニングして、いろいろな分類器を比較しているみたいです。比較内容は精度や再現率やクロスエントロピーなど様々で、確率を直接出さないやつはsigmoid関数など単調
映像から特定の人物やシーンを判別してメタデータを付加する技術
5月24日から27日まで開催する「技研公開2007」では、番組を「作る」「送る」「使う」技術に分けて最新技術を紹介する。「作る」では、映像コンテンツの検索・活用術や翻訳支援システムなどを展示する。 ● 映像からメタデータを生成して活用する 映像コンテンツの検索・活用技術では、映像の内容を説明するメタデータを自動的に取り出すための各種解析技術を紹介。画像、字幕情報、知識（野球のルールなど）を使って、メタデータを抽出することが可能という。 「画像認識による登場人物の検出・識別」では、画面上の人間の顔の位置を検出したり、特定の人物の割り出しが可能。顔の位置を自動検出する技術は、映像素材に対し、顔画像検出と遮蔽判定を行なうことで実現している。 「ニュースの字幕がキャスターの顔に被らないようにするには、従来だと、放送中の画面を見ながら手作業で字幕を消したり、出したりしていた。自動検出が実現すれば、そ
DO++ : 機械学習の実用化
プログラマがどうたらこうたらという話はあんまり乗らないけど このブログ 東大関連の話はkzkさんのを参考にしてもらうとして >もちろん、実装は中学生でもできることだ。 機械学習を実用化レベルに持っていくためにはかなりの総合力が必要だと思います。 数学的な知識や機械学習の知識はもちろん、数値最適化の各手法やデータ構造を使い分けて、高速化、省メモリをどう達成するか、現実世界に発生するモデル化しきれないノイズをどう取り除ければいいかとかまで考えないといけない。 そのまま作ると、重い、動かない、間違っている、なんかよく分からないのが出るってことになると思います。 やりがいのあり面白いですが、結構大変。 機械学習も流行っているのは流行っているかもしれんですが、圧縮とかこれらの全部機械学習と一括りするのは違う気がする。根底に流れているのは似ているけど 例えば、JMLR とかにある論文を読んでまともに動
Research | Nakagawa Lab.
中川研究室の研究テーマは、統計的機械学習の理論とアルゴリズム、および自然言語処理およびそのWWWへの応用です。特に、統計的自然言語処理の理論、ベイズ統計に基づく機械学習の理論と学習アルゴリズム、およびWWWに見られる半構造化文書からの情報抽出および情報ナビゲーションシステムなどを研究しています。以下に詳細を記します。 統計的機械学習 統計的機械学習とは、観測されたデータから統計的手法を用い新たな知識を導出することである。 統計的機械学習についての教科書的な内容はこちらを参照してほしい。 統計的機械学習には種々の分類がある。主要なものを説明しよう。 教師あり学習と教師なし学習 教師あり学習(supervised learning)では、観測データと、そのデータの意味が与えられる。例えば、文書分類問題であれば、観測された文書とその文書の属するカテゴリー（スポーツ、芸能、など）の対のデータ集
Mindset | Yahoo! Research
Thank you for your interest in Mindset. The demo for Mindset is no longer available, but we're always working on new and interesting research projects to get your feedback on. Check out Sandbox to learn about the experiments and demos we're currently running. Keep checking back to research.yahoo.com for the latest news, events and projects from Yahoo! Research.
Matthew J. Beal - Thesis: Matthew J. Beal, Variational Algorithms for Approximate Bayesian Inference
*Hyperlinks across sections, equations and citations (which back-reference to the text) are only functional in the whole pdf version, within an enabled viewer like Adobe Acrobat Reader. Abstract The Bayesian framework for machine learning allows for the incorporation of prior knowledge in a coherent way, avoids overfitting problems, and provides a principled basis for selecting between alternative
隠れマルコフモデルのためのEMアルゴリズム 正田 備也 平成 19 年 10 月 4 日 隠れマルコフモデル (hidden markov model) について，EM アルゴリズムを用いた最尤推定をどのように行うか，自 分用の
隠れマルコフモデルのためのEMアルゴリズム 正田 備也 平成 19 年 10 月 4 日 隠れマルコフモデル (hidden markov model) について，EM アルゴリズムを用いた最尤推定をどのように行うか，自 分用の研究メモとしてまとめてみました．以下の内容は，Beal, M.J. (2003) Variational Algorithms for Approximate Bayesian Inference. PhD. Thesis, Gatsby Computational Neuroscience Unit, University College London. の 3.2 節のほぼ翻訳ですが，かなり説明を補足してあります．ただし，記号は変えてあります． 1 隠れマルコフモデルの定式化 隠れマルコフモデルは，観察データの列 y1:T をモデル化するために用いる．なお，各
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
知能工学研究室 Machine Learning 輪読会
http://nao.s164.xrea.com/RL-FAQ-j.html
people:dan [Contextual Computing Group]
Amazon.co.jp: リストマニア
http://www.ar.sanken.osaka-u.ac.jp/papers/motoda/jsai97-moto.pdf
ニューラルネットワーク入門
本文
画像認識技術 1.4.6 画像識別
Microsoft PowerPoint - S1-導入.ppt
http://www.vision.cs.chubu.ac.jp/VU/html/index.html
DEWS2005new.dvi