ニューラルネットワークを用いたパターン認識CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
応用数理学9/複雑系概論 (2009年度後期): ベイジアンネットワーク – Joe Suzuki (鈴木譲) 公式ブログ
コンテンツへスキップ テキスト: 鈴木譲「ベイジアンネットワーク入門」培風館 (2009年7月) ベイジアンネットワーク 第1回: 講義の前に(2009年10月1日) ベイジアンネットワーク 第1回: 第1章確率論の基礎 1.1 集合(2009年10月1日) ベイジアンネットワーク 第2回: 第1章確率論の基礎 1.2 確率(2009年10月15日) ベイジアンネットワーク 第2回: 第1章確率論の基礎 1.3 分布関数(2009年10月15日) ベイジアンネットワーク 第3回: 第1章確率論の基礎 1.4 Kullback-Leibler情報量(2009年10月22日) ベイジアンネットワーク 第3回: 第2章グラフィカルモデル 2.1 条件付独立性(2009年10月22日) ベイジアンネットワーク 第4回: 第2章グラフィカルモデル 2.2 無向グラフ(2009年10月29日) ベイジ
PRML合宿まとめサイト
■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基本的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布
[杉山将のページ]
[ English | Japanese ] 杉山 将（すぎやま まさし） 東京工業大学 大学院情報理工学研究科 計算工学専攻 認知機構学講座 情報認識機構分野 准教授 興味のある研究分野： 機械学習の理論と応用， 表面微細凹凸形状測定， 信号画像処理など 研究概要 主要発表論文：英語文献, 日本語文献 全発表論文リスト:英語文献, 日本語文献 講演リスト 授業 ソフトウェア 履歴書 リンク Gmail 東京工業大学 VPN Yahoo Japan 機械学習研究グループ T-PRIMAL グローバルCOE 計算世界観の深化と展開(CompView) 駅探 Google maps Yahoo US Fraunhofer FIRST.IDA ECML2008, DMSS2008, IBIS2008, NIPS, ICDM2008, APBC2009 東京工業大学 付属図書館 東京工業大学 ポ
K-means法によるクラスタリングのスマートな初期値選択を行うK-means++ - kaisehのブログ
K-means法は、入力データからK個のランダムな個体を初期クラスタの中心として選択し、以降、クラスタの重心を移動させるステップを繰り返すことでクラスタリングを行う非階層的手法です。K-means法はシンプルで高速ですが、初期値依存が大きいのが弱点で、不適切な初期値選択をすると間違った解に収束してしまいます。 以下は、Introduction to Information Retrievalの16章に出てくる例です。 {d1, d2, ..., d6}をK=2でクラスタリングする場合、{{d1, d2, d4, d5}, {d3, d6}}が大域最適解ですが、初期クラスタの中心をd2, d5で与えると、{{d1, d2, d3}, {d4, d5, d6}}という誤った解に収束してしまいます。 この問題を改善するK-means++という手法を見つけたので、試してみました。 K-means+
オンラインEMアルゴリズム - DO++
EMアルゴリズム（Expectation Maximizationアルゴリズム、期待値最大化法、以下EMと呼ぶ）は、データに観測できない隠れ変数（潜在変数）がある場合のパラメータ推定を行う時に有用な手法である。 EMは何それという人のために簡単な説明を下の方に書いたので読んでみてください。 EMのきちんとした説明なら持橋さんによる解説「自然言語処理のための変分ベイズ法」や「計算統計 I―確率計算の新しい手法 統計科学のフロンティア 11」が丁寧でわかりやすい。 EMは教師無学習では中心的な手法であり、何か観測できない変数を含めた確率モデルを作ってその確率モデルの尤度を最大化するという枠組みで、観測できなかった変数はなんだったのかを推定する場合に用いられる。 例えば自然言語処理に限っていえば文書や単語クラスタリングから、文法推定、形態素解析、機械翻訳における単語アライメントなどで使われる。
Perceptron を手で計算して理解してみる (nakatani @ cybozu labs)
Perceptron の実装とか見ると、ものすごく簡単なので、本当にこれで学習できちゃうの？ と不安になってしまいました(苦笑)。 こういうときは、実際にパーセプトロンが計算しているとおりに、紙と鉛筆で計算してみて、期待する結果が出てくることを確認してみたくなります。 参照する教科書は「パターン認識と機械学習・上」(PRML) の「 4.1.7 パーセプトロンアルゴリズム」。 短い節です。必要最低限のことを一通り書いてある感じかな。 計算に用いるサンプルですが、手で計算できる規模でないといけないので、論理演算の AND を試してみることにします。 簡単に勉強 ちゃんとした説明は PRML などを見て欲しいですが、とても簡単にまとめます。 ２値の線形識別モデルは、N 次元空間内を (N-1) 次元の超平面(決定面)で分割することで、入力ベクトル x から得られる特徴ベクトル φ(x) が２つ
最大マージン kNN と SVM の関係: kNN も最近はがんばっています - 武蔵野日記
先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に
Kikker の学習の仕組みと Rocchio アルゴリズム - naoyaのはてなダイアリー
先日のソーシャルブックマーク研究会では id:kanbayashi さんによる発表がありました。id:kanbayashi さんは Kikker や はてブまわりのひと などの開発をされている方です。最近情報検索理論に入門した自分にとっては、非常に面白い発表でした。 発表の中で Kikker の学習の仕組みについての解説もありました。Kikker は Cosine similarity で推薦するドキュメントを検索しているそうですが、ユーザーのクリックデータを使って、ユーザーごとに推薦対象を最適化するようにしているそうです。この学習は、ユーザーが見たページのベクトルを、そのユーザーの趣向ベクトルに足し込むことで実現している、とのことでした。 SBM研究会で発表した"私がチャレンジしたSBMデータマイニング"のスライド - Ryoの開発日記 Neo! 発表ではベクトルを加算することについて「
Apache Mahout - Overview
For Creating Scalable Performant Machine Learning Applications Download Mahout Apache Mahout(TM) is a distributed linear algebra framework and mathematically expressive Scala DSL designed to let mathematicians, statisticians, and data scientists quickly implement their own algorithms. Apache Spark is the recommended out-of-the-box distributed back-end, or can be extended to other distributed backe
MLTL: Machine Learning Templete Library
MLTL: 機械学習テンプレートライブラリ Introduction MLTL機械学習テンプレートライブラリは，自然言語処理へ機械学習を応用する研究や，より自然言語処理に適した機械学習手法の開発を容易にするため，YANS活動の中で清水伸幸と宮尾祐介を中心として作られた C++ テンプレートライブラリです．特に，系列構造や木構造など，自然言語の構造を表現するのに適した構造に対して，様々な機械学習アルゴリズムを利用できるように設計されています． 設計の特徴として，データ構造を表すクラスと学習アルゴリズムを表すテンプレートクラスを分離し，これらの間をつなぐインタフェースを設定することで，汎用性を高めています．これにより，新たにデータ構造クラスを作成した場合に様々な学習アルゴリズムとの組み合わせを容易に試すことができ，逆に，新たな学習アルゴリズムを実装した場合には様々なデータ構造との組み合わせを試
FrontPage - 機械学習勉強会Wiki
Natural Language Processing & Machine Learning † 自然言語処理においても、機械学習は重要なツールになりつつあります。 また、近年、統計的なシステムの普及と共に論文の数も増加しています。 研究者として問題解決能力を高めるためには、多くの論文に触れ、問題に 直面した際、ああ、あれがあったな、と思えることが重要です。 しかし、一人で一日に読める論文の数は１，２本です。 そこで、 学生を中心とした中川研究室の勉強会を外部に開放することにしました。 お互いに教えあうことで、知っている論文の数を何倍にも増やすのが この勉強会の目的です。 毎週一回の開催を目標としています。 ICML, NIPS, UAI, ACL, EMNLP, HLT, AAAI, IJCAI, SIG-KDD, SIGIR, JMLR, JAIR などで発表された去年と今年の論文、あ
MapReduce & Statistical Query Modelling
MapReduce for Machine Learning on Multicore 2007-05-17 機械学習勉強会 大倉 務 自己紹介 • 大倉 務（おおくら つとむ） • 中川研の修士２年（情報理工 - 創造情報学専攻） • ブログを集めて著者属性を推定し、「今年のGW、 静岡県民にはバーベキューが人気」といった流行を抽 出する方法の研究をしています。 • 機械学習に造詣が深いということはありません （すいません） 本日のお題 MapReduceモデルで 機械学習アルゴリズムを並列化する 余談：私とMapReduce • 2006年初頭 MapReduceを知る オープンソースの類似ライブラリを使ってみるが出来が悪すぎて使えず • 2006年春頃 Rubyで実装する WikiPedia(JA)を10秒で処理できるようにして、統計値をとってみた
[授業]
東京工業大学 2008年度前期（学部2年）：確率と統計 2008年度前期（大学院）：パターン情報処理（英語） 2007年度後期（学部3年）：情報認識 （学生評価の高い講義に選ばれました！） 2007年度前期（学部2年）：確率と統計, 宿題用のデータ 2007年度前期（大学院）：データ解析特論（英語）, 宿題用のデータ 2006年度後期（学部3年）：情報認識 （学生評価の高い講義に選ばれました！） 2006年度前期（学部1年）：５類Ｆ１ゼミ 2006年度前期（学部2年）：確率と統計 （学生評価の高い講義に選ばれました！） 2006年度前期（学部3年）：情報工学創作実習 2006年度前期（大学院）：パターン情報処理（英語） 2005年度後期（学部3年）： 情報認識 2005年度前期（学部1年）：５類Ｆ１ゼミ 2005年度前期（学部2年）：情報工学創作実習 2005年度前期（大学院）：データ解析
きしだのHatena
Chicoryを使ってRustをコンパイルしたwasmをJavaから呼び出してみました。 JVMでWebAssemblyにコンパイルしたRustのコードを動かす - きしだのHatena ただ、結構呼び出しがめんどいので、Javaインタフェースを定義したらなんかメソッド呼び出しで使える、というよく見かけるやつを作ってみます。 Rustのコードはこう。 #[no_mangle] pub fn add(left: i32, right: i32) -> i32 { left + right } #[no_mangle] pub fn sub(left: i32, right: i32) -> i32 { left - right } #[no_mangle] pub fn mul(left: i32, right: i32) -> i64 { (left as i64) * (right as
ニューラルネットワークを用いたパターン認識
はじめに ニューラルネットワークの主要なアルゴリズムであるバックプロパゲーション法を、車両のナンバープレートの自動読取りへの応用例で紹介します。完成版のアプレットを見る 対象読者 パターン認識に興味を持ち、特にニューラルネットワークを用いる方法に関心のある人。必要な環境 J2SE 5.0を使っていますが、これより古いバージョンでも、本稿のコードをコンパイルし、実行することができます。ただし、添付のコンパイル済みアプレットの実行には、J2SE Runtime Environment 5.0が必要です。また、CPUパワーが足りないと、学習に時間がかかります。 パターンには、音声、画像、図形、文字などがあります。これらが何であるかを認識することを「パターン認識」と呼び、音声認識の応用は音声入力装置に、画像認識の応用は顔や指紋の照合に使われます。文字認識は、大別して、手書き文字の認識と、印刷文字の
DO++: 機械学習のチュートリアル (ICML2008)
今年のICML2008はUAIとCOLTの共催と大規模で行なわれたようです。いろいろな方の話を伺うと楽しかったようで。 私は適当にお勧めされた論文やらを読み漁ってます。 個人的に印象深かったのはいくつかのmulti-armed bandit problemの話かな。特にこれとか。 bandit problemは強化学習の中にでてくるような問題の一つで、元々は複数のスロットマシンがあって、これから収益を最大化したいという問題。この時、やらなければいけないことは、現在持っている結果を元に各スロットのモデルを予想するとともに、自分からちょっとリスクを冒してでも他のスロットを試しにいかないといけない。スロットAが今のところ調子いいんだけど、もしかしたらさっきは出なかったスロットBの方がすごい調子がいいかもしれない。探索と最適化がまざったような話ですね。 コンピュータ囲碁で今一番強いモンテカルロ法と
ゼミのレジュメ集
ゼミのレジュメ集 2018年前期は、以下の本をやります 「Python ではじめる機械学習」 Andreas C. Muller and Sarah Guido (中田秀基 訳) オライリー・ジャパン (2017) 新納研新配属+ の Python 課題進捗状況 新納研新人の課題進捗状況（TeX） 分類問題の課題 2017年後期は、私の以下の本をやります 「Chainer v2 による実践深層学習」 新納浩幸 オーム社 (2017) 2017年前期は、以下の本をやります 「機械学習理論入門」 中井悦司 技術評論社 (2015) 新納研仮配属+ の Python 課題進捗状況 新納研新人の課題進捗状況（TeX） 分類問題の課題 2016年前期は、以下の本をやります 「実践 機械学習システム」 Willi Richet, Luis Pedro Coelho 著、斉藤康毅 訳 オライリー・ジャパ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
InfoQ: Apache Mahout: 拡張性の高い機械学習アルゴリズム
http://vision.kuee.kyoto-u.ac.jp/~hiroaki/patrec/