PFIセミナー資料: 研究開発2009 - DO++
昨日ありました、PFIでのセミナーでの発表資料です。 研究開発のチームの紹介の後に、2009年サーベイした論文の中で面白かった論文を 機械学習、データ構造、画像処理で紹介してます 紹介した話は - Multi-class CW (Multi-class Confidence Weighted Learning,) - AROW (Adaptive Regularization Of Weight Vector) - Online-EM algorithm - 全備簡潔木 (Fully-functional Succinct Tree) - 圧縮連想配列 (compressed function) - PatchMatch です。 ＃資料中の簡潔木の表現方法のDFUDSの紹介でtxも使用と書いてあるのは、公開しているtxでは、 LOUDSのみをつかっていますので正確ではありませんでした。これ
FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
2008-07-01 - きしだのはてな - バックプロパゲーションでニューラルネットの学習
ニューラルネットというのは、入力があって、複数の階層を経て出力を得るようなグラフ構造のことです。通常は、入力層・中間層・出力層のように層構造になっているようなものを差します。中でも、中間層が1層の、３層構造になっているものが多くとりあげられます。バックプロパゲーションは、誤差逆伝播法とも言って、ニューラルネットワークのパラメータを学習するための手法です。 ニューラルネットについてのサイトや本では、中間層を多層に対応した一般的な表現で説明されることが多いのですが、なかなか式を読み解くのが難しかったりするので、今回は3層で入力が2パラメータ、出力は1つ、中間層のニューロンは2つという、単純なものを取り上げます。 では、3層ニューラルネットワークでの判定時のデータの流れを見てみます。 3層ということになっていますが、実際の処理は2層になっています。実装するときには2層だと考えたほうがわかりやすい
PRML合宿まとめサイト
■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基本的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布
R でベイズ線形回帰の予測分布 - 木曜不足
一番は「やっぱりＲ覚えよう……」としみじみ実感したことかもしれない(苦笑)。 というわけで R 始めました。 同じことやっても仕方ないので PRML 3.3.2 のベイズ線形回帰による予測分布をやってみることに。 とはいえ、昨日インストールして、今日 R-Tips を読みながら使い始めたという、おしりに立派な殻がついた ひよこちゃんなので、心優しい人が突っ込んでくれることを期待して、 step by step で書いてみる。 R-Tips を読んで、R とは ベクトルと行列の操作が全ての基本。とても便利に使えるようになっている ベクトルとスカラーを演算すると、スカラーが自然にベクトルに拡張される。たとえば v + 3 は ベクトル v の全要素に 3 を加えたベクトルを返す スカラーを取る関数にベクトルを与えることもできる。たとえばベクトル (1,2,3) を log() に入れると、(l
PRML６章「ガウス過程による回帰」を R で試す - 木曜不足
PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R で試す。 訓練データは PRML のサンプルデータを使う。 # PRML's synthetic data set curve_fitting <- data.frame( x=c(0.000000,0.111111,0.222222,0.333333,0.444444,0.555556,0.666667,0.777778,0.888889,1.000000), t=c(0.349486,0.830839,1.007332,0.971507,0.133066,0.166823,-0.848307,-0.445686,-0
BLOG::broomie.net: 機械学習の勉強を始めるには
thriftとかhadoopなど，何やらいろいろと手を出してしまい，ここのところブログの更新が滞ってしまっていますが，今日は前から書きたかったトピックについて自分へのメモの意味も含めて記しておきたいと思います． はじめに 最近，といっても結構前からなのですが，海外のブログなどで「機械学習の勉強を始めるガイドライン」についてのエントリーがいくつか見られ，かつ，議論も少し盛り上がっています．僕は機械学習が好きなだけで，専門というにはほど遠いのですが，僕も一利用者としてはこのトピックに関してはとても興味があります． 機械学習というと，色々な数学的な知識が必要であったり，統計学や人工知能の知識も必要になったりしまったりと，専門的に学ぶ機会が無かった人にとっては興味が湧いてもなかなか始めるには尻込みしてしまうことかと思います．今日紹介するエントリーは，そんな方々にヒントになるような内容になっていると
紫ログ:PRML: §1.1 多項式曲線フィッティング - livedoor Blog（ブログ）
【C.M.ビショップ「パターン認識と機械学習(PRML)」読書会の情報はこちら】 Rを参考にして書いた、Gaucheで行列演算を記述するためのオレオレライブラリを使い、１章の最初の多項式曲線フィッティングから復習コーディング中。 訓練データ集合（sin(2πx) + ガウス分布ノイズ）と元の曲線: 次数M=0〜9でフィッティング: 次数M=9、N=15とN=100の比較: 次数M=9、ペナルティ項つき: ソース: (require "./lib/random") (require "./lib/util") (require "./lib/gd-graph") (require "./lib/mac") (require "./lib/matrix") ;; [0..1]の範囲で均一に分布する乱数 (define rand-0to1 (make-uniform-rand 0 1)) ;;
ゼミのちはじめてのカーネル法 - 糞ネット弁慶
春からやってたPRML自主ゼミが無事上巻を終えた感じなので下巻に移ろうとするも下巻のトピックの説明具合が所々不穏じゃねということで、まずはカーネル法を これを使ってやってみようという話になった初回のゼミ。 で、導入という事でリプレゼンター定理を見たわけですが、リプレゼンター定理の証明がシンプルで納得。この本凄いので早く研究室で注文した分も届いてください。 リプレゼンター定理とは、損失関数に正則化を加えて最適化する問題において、正則化項がL2ならば、最適解はをサンプル点として の形で書けるというもの。 「おーL2正則化だとが消えていい感じにサンプル個のカーネル線形和で書けるのかー」とか言ってたらid:syou6162が「甘い、これまでのL2正則化入りのパラメータ推定もカーネルで記述可能だと示唆しているんだ！！！！！！（ここ適当」とか言い出してうおーそりゃもっとすげーとかいう感じで終了。 あと
天気予報から機械学習、金融工学まで - DO++
もう随分経ちますが，先日CompView秋の学校というのに行き，2泊3日みっちり機会学習を勉強してきました．講師陣は豪華でどの話も面白かったのですが特にElad Hazanによる"Prediction in the dark: the multi-armed bandit problem"が非常に面白かったです． その話を説明するために，まず簡単ながら驚くべき性能を達成するアルゴリズムを紹介しましょう． 解きたい問題は，毎日，次の日の天気が晴れか雨かを予想する問題です．t日目が晴れの場合 y(t)=1, 雨の場合 y(t)=0と表すことにしましょう．t日目にy(t+1)を予想するわけです． さて、自分は天気の専門家ではないので，自分で予報せずに，専門家に頼ることにしてみます．M人の天気予報士がいて，それぞれが独自に次の日の天気を予想しています．i人目の天気予報士のt日目の予報をp(i,t)
BLOG::broomie.net: 各種分類器の分類精度を示した絵がおもしろい
今日会社で多次元のデータを２次元にクールでベストプラクティスな感じでプロットするにはどうしたらいいんだろうね、やっぱ多次元尺度構成法じゃない？的な会話をしていたのだけれども、２次元にデータを落とし込むと人間にもわかるデータになって本当におもしろいですよね。今日はその一例というか、いくつかの分類器の分類精度を２次元にプロットした結果を示した実験結果を解説したページを紹介します。おおーこうゆうのみたかったんだよなー！と個人的にはかなりエキサイティングな感じでした。 要約というか意訳になってしまうのですが、ページに以下のように説明されています。(細かいところは訳してません) http://home.comcast.net/~tom.fawcett/public_html/ML-gallery/pages/index.html 分類タスクの機械学習の研究では定量的な評価が重要です(精度とかACUと
BLOG::broomie.net: Introduction to Machine Learning
こんにちわ、shunyaです。 身内の不幸などでどたばたしてしまい、ブログの更新ができていないのです。ということで、今日もどたばたなので小ネタで軽く更新しておきます。 情報検索の教科書で有名なIntroduction to Information Retrieval(略してIIR)は、 Introduction to Information Retrieval 情報検索の基礎から、有名な機械学習のアルゴリズムまで幅広く解説されてあり、いろいろ忘れるたびにお世話になっています。どうお世話になっているかというと、これは結構有名な話なのですが、上記の本が実はPDFで公開されているんですね。すてき。 http://www-csli.stanford.edu/~hinrich/information-retrieval-book.html これは、本当によく使う手法がわかりやすく書かれているのでおす
BLOG::broomie.net: Classificationにおけるデータセット
こんばんわ、shunyaです。 突然なのですが、よく分類器などを実装して、その精度をチェックするためにコーパスが必要になることってよくありますよね。 そこで、よく論文などで評価で使われているデータセットを使おうと考える訳ですが、そうゆう時に限ってデータセットの名前が出てこなかったりします。 あと、いつも同じデータセットだとあんまり面白みもかけてきちゃったりして、よーし自分で作っちゃおうぞー！ってなってがんばってクローラーを書いたりして、ウェブコーパスを作ったりしようとするんですが、だいたい途中で飽きちゃったりするんですよね。 さて、前置きが長くなりましたが、machine learningの評価で使われるデータセットがまとめてあるページを見つけたので紹介させていただきます。 UCI Machine Learning Repository: Data Sets ぱぱーっと見た感じで、すごい
BLOG::broomie.net: 機械学習のアルゴリズムを解説したサンプルプログラム集
すごい、有名なアルゴリズムのサンプルプログラムがたくさんあります！ http://www.yom-tov.info/Uploads/ # Parent Directory # Ada_Boost.m # Bottom_Up_Parsing.m # C4_5.m # DHSchapter2_fixed.mat # Grammatical_Inference.m # Marginalization.m # PPT.m # SVM.m # Sequential_Feature_Selection.m # calculate_region.m だけどmatlabわからない。。。 いつか解読してみせる。
SVMソフトウェアの比較 - tsubosakaの日記
オープンソースのSVMソフトウェアの基本デフォルトの設定で比較などをしてみた。 利用データはLIBSVM Data: Classification, Regression, and Multi-labelのa9aとnews20.binaryを利用した。 データセットの詳細は以下のようになっている データセット名 訓練データ数 テストデータ数 データの次元 a9a 32561 16281 123 news20.binary 15000 4996 1355199 なお、news20.binaryでの訓練データとテストデータの作成については id:n_shuyoさんの記事を参考にした。 比較に用いたソフトウェアは以下の5つ LIBSVM リンク SVM-Light リンク TinySVM リンク SVM-perf リンク LIBLINEAR リンク 測定結果は以下のようになった。パラメータの設定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tsukuba.R#6お疲れ様でした - 糞ネット弁慶
Photo Tourism: Microsoft Research, Interactive Visual Media Group
Videolectures
BLOG::broomie.net: 機械学習の最新論文が読めるサイト
InfoQ: Apache Mahout: 拡張性の高い機械学習アルゴリズム
