ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
Machine Learning that Matters(ICML 2012) 読んだ - 糞糞糞ネット弁慶
機械学習やってる人は皆読むべきだと思う． Machine Learning that Matters (pdf) 概要 機械学習のトップカンファレンスICMLに数式/アルゴリズム/定理を1つも書かずに通った論文． 機械学習は何のために重要なのか，現実世界との繋がりを失っていないか，あなたは「機械学習って何の役に立つの?」と聞かれた時にちゃんと答えられるのか，まだ取り組まれてない重要な問題は何か，について触れた長文ブログのような論文． contributionsは 機械学習の研究と人類と科学全体におけるもっと大きな研究との間にある欠落に対する明確な特定と解説 そのギャップに取り組むための第一歩 (どう訳していいかわからなかった) 機械学習において重要な問題の提示 機械学習のための機械学習(要約: マッシュルームやアヤメの分類器を死ぬほど作って何の役に立ったの？) ベンチマークデータの問題 こ
過学習と局所解 - 職業としてのプログラミング
もし、私が電気の専門家であったなら、電話を発明することはできなかっただろう。 何故なら、そんなものは最初から不可能だと決め付けたであろうから。 冒頭の引用にあるベルの言葉※1は、たまたま見たテレビ番組で取り上げられているの見て初めて知りました。非常に印象的な言葉でした。 技術者として仕事をしていると、無理難題とも言える仕様、無理なスケジュールを突きつけられることが良くあります。そんな時、ついつい「無理を言うのは技術を分かっていないからだ。無理を言われても困る」と考えがちです。しかし、実際は中途半端に技術を理解しているがために視野が限定され、結果として発想力に乏しくなっているのは技術者の側、ということもあるのではないでしょうか。ここで、学生の頃かじったニューラルネットワーク(Neural Network)や遺伝的アルゴリズム(GA)のことを思い出しました。 ニューラルネットワークとGA。どち
LIBSVMの使いかたまとめ - k.kinukawaの日記
LIBSVMとは LIBSVMはChih-Chung Chang とChih-Jen Lin によって作成された、サポートベクタマシンライブラリである。 現在はバージョン2.85がリリースされている。 LIBSVM は、サポートベクタ分類器（C-SVC、nu-SVC）、回帰分析（epsilon-SVR、nu-SVR）、分布評価（１クラスSVM）のための統合ソフトである。 マルチクラス分類もサポートしている。 様々なインターフェースが用意されているため、ライブラリとユーザープログラムを簡単に統合することが可能である。 以下のような機能、特徴を含んでいる。 異なったSVM の計算式が用意されている. 効率的なマルチクラス分類ができる. モデル選択のためのクロスバリデーション*1. 可能性予測. 偏ったデータのための、重みつきSVM. C++ とJava のソースコード. SVM 分類と回帰分析
SVMソフトウェアの比較 - tsubosakaの日記
オープンソースのSVMソフトウェアの基本デフォルトの設定で比較などをしてみた。 利用データはLIBSVM Data: Classification, Regression, and Multi-labelのa9aとnews20.binaryを利用した。 データセットの詳細は以下のようになっている データセット名 訓練データ数 テストデータ数 データの次元 a9a 32561 16281 123 news20.binary 15000 4996 1355199 なお、news20.binaryでの訓練データとテストデータの作成については id:n_shuyoさんの記事を参考にした。 比較に用いたソフトウェアは以下の5つ LIBSVM リンク SVM-Light リンク TinySVM リンク SVM-perf リンク LIBLINEAR リンク 測定結果は以下のようになった。パラメータの設定
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
「Mobageの大規模データマイニング」PRMU 2011 Big Data and Cloud で講演してきました http://d.hatena.ne.jp/hamadakoichi/20111229/p1Read less
バギング - 機械学習の「朱鷺の杜Wiki」
バギング (bagging)† ブートストラップサンプリングを繰り返して生成した判別器を合成して，より判別精度の高い判別器を生成する方法． Bagging 以下の手続きを \(t=1,2,\ldots,T\) について反復 入力訓練データ集合 \(D\) から，事例の重複を許してブートストラップサンプル \(D_t\) を得る． \(D_t\) を弱学習器に与えて仮説 \(h_t\) を得る． 最終結果は，クラス分類問題の場合は \(h_1,\ldots,h_T\) の多数決投票で，回帰問題の場合は，平均 \(\frac{1}{T}\sum_t^T h_t\) とする． 名称は Bootstrap AGGregatING に由来 ブースティングと違って，弱学習器が事例を重み付け出来なくても適用でき，また，回帰問題への適用も容易． 比較実験では，ブースティングに対して負けることが多い． 回帰
第15回 パターン認識・メディア理解研究会(PRMU) アルゴリズムコンテスト
実行委員会(敬称略) 実行委員長 山田 敬嗣(NEC) 副実行委員長 近藤 一晃 (京都大) 実行委員 栄藤 稔(NTT), 大町 真一郎(東北大), 玉木 徹(広島大), 藤吉 弘亘(中部大), 関 真規人(三菱電機), 飯山 将晃(京都大), 青木 義満(慶応大) 安倍 満(DENSO), 石川 博(早稲田大), 岩井 儀雄(鳥取大), 奥村 文洋(豊田中央研), 大山 航(三重大), 柏野 邦夫(NTT), 喜多 泰代(産総研), 酒井 智弥(長崎大), 島田 敬士(九州大), 清水 郁子(農工大), 杉山 将(東京工大), 高橋 隆史(龍谷大), 高橋 正樹(NHK), 田中 宏(富士通), 出口 大輔(名古屋大), 天元 宏(釧路高専), 中村 裕一(京都大), 新田 直子(大阪大), 羽下 哲司(三菱電機), 原田 達也(東京大), 宮川 勲(NTT), LAO Shihong
木曜不足
2004年ごろに Google の猫で深層学習が一躍脚光を浴びたとき、画像認識は特徴抽出が難しいので深層学習で良い結果が出るが、自然言語処理は特徴量*1がリッチなので、深層学習を適用するのは難しいだろうと思っていた。 特徴量がリッチとは、例えば「ホームラン」のたった１語でその文はスポーツ、特に野球の話題である可能性が高くなる、みたいな話である。一方、ピクセルの１つが緑であることから何の画像か当てるのは不可能だ。 その後、自然言語処理でも深層学習が当たり前になったのは誰もがご存知のとおりであり、自身の不明を恥じるばかりだ。ただ言い訳をさせてもらえるなら、自然言語処理のえらい先生方も同じように言っていたのだ。 2014年ごろ、LSTM などの深層学習モデルが発展し、自然言語処理でも目覚ましい結果が出始めた。機械翻訳など多くのタスクで、人間の平均といい勝負になったのもこの頃だったと思う。すると、
生成モデル - 機械学習の「朱鷺の杜Wiki」
生成モデル (generative model) / 識別モデル (discriminative model)† クラス分類を解くための手法は識別モデルと生成モデルに分けられる． データとクラスの確率変数をそれぞれ \(X\) と\(C\) で表す． パラメータは \(\theta=(\theta_1,\theta_2)\)． 生成モデル (generative model) \(X\) と\(C\) の結合確率をモデル化： \[\Pr[X,C|\theta]=\Pr[X|C,\theta_1]\Pr[C|\theta_2]\] パラメータはデータ集合とパラメータの同時確率を最大化するように学習： \[\Pr[\{x_i,c_i\}_i^N,\theta]=\Pr[\theta]\prod_i^N\Pr[x_i,c_i|\theta]=\Pr[\theta]\prod_i^N\Pr[x_i
機械学習 はじめよう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
Latent Dirichlet allocation - Wikipedia
One application of LDA in machine learning - specifically, topic discovery, a subproblem in natural language processing – is to discover topics in a collection of documents, and then automatically classify any individual document within the collection in terms of how "relevant" it is to each of the discovered topics. A topic is considered to be a set of terms (i.e., individual words or phrases) th
probabilistic latent semantic analysis - 機械学習の「朱鷺の杜Wiki」
probabilistic latent semantic analysis (pLSA)† 文書と単語など，離散2変数の計数データの生成モデル． 文書(document)：\(d\in\mathcal{D}=\{d_1,\ldots,d_N\}\)， 語(word)：\(w\in\mathcal{W}=\{w_1,\ldots,w_M\}\)， 潜在変数の話題(topic)：\(z\in\mathcal{Z}=\{z_1,\ldots,z_K\}\) を使った文書と単語の生成モデルがpLSA (probabilistic latent semantic analysis) \[\Pr[d,w]=\Pr[d]\sum_{z\in\mathcal{Z}}\Pr[w|z]\Pr[z|d]\] これは，文書と語について対称に定義することもできる \[\Pr[d,w]=\sum_{z\in\mat
Gibbsサンプラー - 機械学習の「朱鷺の杜Wiki」
2023-12-04 python 2023-11-22 PRML/errata2 2023-11-21 PRML/errata1 2023-11-01 しましま/IBIS2023 2023-10-29 IBIS 2023-06-16 人工知能学会全国大会 2023-06-11 しましま/人工知能学会全国大会2023 2023-03-28 Book 2022-11-27 朱鷺の社 2022-11-24 しましま/IBIS2022 2022-07-08 AutoTicketLinkName 2022-06-17 しましま/人工知能学会全国大会2022 2021-11-13 しましま/IBIS2021 2021-10-29 回帰分析 2021-06-11 しましま/人工知能学会全国大会2021 2021-03-07 MenuBar 2021-02-15 python/numpy 2020-12
[Gibbs Sampling（ギブスサンプリング）] by かうぱーと
いよいよGibbs Samplingについてのメモです。 教科書などでは「ギブスサンプラー」と書かれている方が多いのですが、 私はGibbs Samplingで習ったのでここではこれで通します。 【Gibbs Samplingの手順】 #include <stdlib.h> #include <stdio.h> #include <math.h> #include "randlib.h" int main( void ) { // 母集団の平均値 double trueMean = 5.0; // 母集団の分散 double trueVar = 1.0; // 観測値数 int dataNum = 1000; // 観測値格納域 double y[dataNum]; // 観測値の平均 double xbar = 0.0; // 観測値の分散 double xvar = 0.0; // 事
多変量正規分布をギブスサンプリングで - 木曜不足
引き続き「パターン認識と機械学習」(PRML) 11章予習中。 Gibbs サンプリング、これはもう試してみるしか。 syou6162 さんが試してはるの( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )をなぞるだけでもいいんだけど、せっかくだから多次元一般化しよう。 r_mul_norm1 <- function(x, mu, Sig) { idx <- 1:length(mu); for(a in idx) { b <- idx[idx!=a]; # b = [1,D] - a s <- Sig[b,a] %*% solve(Sig[b,b]); # Σ_ab Σ_bb ^ -1 # (PRML 2.81) μ_a|b = μ_a + Σ_ab Σ_bb ^ -1 (x_b - μ_b) mu_a_b <- mu[a] + s
PythonでLDAを実装してみる
Latent Dirichlet Allocationはテキストのような不連続データのための生成的確率モデル。入力はドキュメント。出力はドキュメントを特徴づける何か（tf-idfみたいなもん）。 基本的なアイディアは、あるドキュメントは潜在的ないくつかのトピックが混合していて、それぞれのトピックは語の分布で特徴づけられている、ということ。 論文[1]ではαとβというパラメータを用いてドキュメントが以下のように生成されると仮定している。 ドキュメントのトピックの分布θがディリクレ分布Dir(α)に基づいて選ばれる。 ドキュメントの語数N個になるまで以下を繰り返す。 トピックznが多項分布Mult(θ)に基づいて選ばれる。 単語wnが確率p(wn|zn,β)で選ばれる。 ただし、トピックzの数をk個、単語wの種類をV個とすると、パラメータαはk次元のベクトル、βはk x V次元の行列でβij=
Latent Dirichlet Allocations の Python 実装 - 木曜不足
LDA とは "Latent Dirichlet Allocation"。文書中の単語の「トピック」を確率的に求める言語モデル。 「潜在的ディリクレ配分法」と訳されていることもあるが、その名前だと「それってなんだっけ？」という人のほうが多そうｗ。 各単語が「隠れトピック」(話題、カテゴリー)から生成されている、と想定して、そのトピックを文書集合から教師無しで推定することができる。特徴は、果物の apple と音楽の apple とコンピュータ関連の apple を区別することが出来る(ことが期待される)という点。そのために、どのトピックを生成しやすいかという分布を各文章も持つ。細かい話は略。 結果の見方としては、定量的にはパープレキシティを見るし(一般に小さいほどいい)、定性的には各トピックがどのような単語を生成するか、その確率上位のものを見てふむふむする。この「各トピックが生成する単語」
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
NEC(Japan)
