Word2vecの並列実行時の学習速度の改善
情報処理学会 第217回自然言語処理研究会 http://www.nl-ipsj.or.jp/NL217program.htmlRead less
共役勾配法によるロジスティック回帰のパラメータ推定 - 人工知能に関する断創録
Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰（2010/4/30）を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います。 勾配降下法によるパラメータ最適化 共役勾配法（2014/4/14）によるパラメータ最適化（学習率いらない！速い！） 正則化項の導入と非線形分離 ロジスティック回帰は線形分離だけだと思ってたのだけど、データの高次の項を追加することで非線形分離もできるのか・・・ 使用したデータファイルなどはGithubにあります。 https://github.com/sylvan5/PRML/tree/master/ch4 勾配降下法によるパラメータ最適化 2クラスのロジスティック回帰は、y=0（負例）またはy=1（正例）を分類するタスク。ロジステ
RCOと機械学習：ニューラルネットワーク編 - RCO アドテクLabブログ | RCO アドテクLabブログ
RCO アドテクLabブログ 八重洲で働く株式会社リクルートコミュニケーションズの社内エンジニアがアドテクノロジーを始め、様々な分野のテクノロジーについて書いています 2013/11/07 anonymous データ分析 アドテクにおいて、データを分析したり最適化を行うために機械学習を使う事があります。少なくともRCOアドテク部では、しばしば機械学習のお世話になっています。 この機械学習ですが、結構昔から研究されている割に、いまだにブレイクスルーがあって、研究の流行がガラっと変わることがあります。近年だとDeep Learningが有名ですかね。多層（5〜10段くらい）のニューラルネットワークを使う学習手法で、多層ニューラルネットワークが持つ、出力層から遠くなるほどエラーが拡散してしまって上手く伝わらないという問題と、学習に使うデータに過剰に適合してしまって未知データへの適合が悪くなる過学
Rでニューラルネットワーク誤差逆伝播による誤差関数微分を摂動数値微分で検証 - Qiita
PRML5.3.3に記載の通り、ニューラルネットワークの重みwの各要素をそれぞれ摂動させることで、wの各要素に関する二乗和誤差関数の偏微分について、そのwにおける値を求め、誤差逆伝播で求めた誤差関数の偏微分についてのwにおける値と並べて表示し、誤差逆伝播で求めた値が摂動による数値微分で求めた値とほぼ等しいことを確認します。 frame() set.seed(0) par(mfcol=c(2, 3)) par(mar=c(3, 3, 1, 0.1)) par(mgp=c(2, 1, 0)) xrange <- c(-1.5, 1.5) yrange <- c(-2, 2) x <- seq(-1, 1, 1/25) Zi <- rbind(x, 1) # bias input #t <- x^2 t <- sin(x * pi) #t <- abs(x) #t <- sign(x) EPS
これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] — KiyuHub
これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] この投稿は Machine Learning Advent Calendar 2013 の9日目の記事です． 本日は，Neural Network(NN)を利用したLanguage Model(LM)，つまりNeural Network Language Model(NNLM)の一種であり， Recurrent Neural Network(RNN)を使ったRecurrent Neural Network Language Model(RNNLM)について説明します． RNNLMに行く前置きとしてざっくりいくつか用意したので，知ってそうな人は先へ進んでください． 前置きを入れているうちに長くなりすぎた...． しかも，そもそもNNの説明
![これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] — KiyuHub](https://cdn-ak-scissors.b.st-hatena.com/image/square/cac50dfe53f692699058da4611c63ceb7fb568f7/height=288;version=1;width=512/http%3A%2F%2Fkiyukuta.github.io%2F_images%2Fneural_language_model.png)
H2O Architecture | 0xdata
This is a top-level overview of the H2O architecture. H2O does in-memory analytics on clusters with distributed parallelized state-of-the-art Machine Learning algorithms. However, the platform is very generic, and very very fast. We're building Machine Learning tools with it, because we think they're cool and interesting, but the platform can do much more. H2O is based on a number of layers, an
前回の続き。。logistic_sgd の意味が分かったのか？ インポートエラーで悩んでいた俺はバカなのか？！ - clew
さて。。 前回記事でストップしていた Deep Belief Networks のサンプルコード実行。 これは 「logistic_sgd というモジュール？がないよ？」 というエラーが原因のようでした。 それで、「そいつがあればいいんじゃね？」 という単純な考えで、あちこち探し回ってたんですね。。 ところが 「どこにもない。。」 もしかして インストール時点で間違っていた。。。もしくは抜け落ちがあったのか？と思い、テストとかすんごい時間をかけてやってみたわけです。 んー、しかしこれといって変なところは見当たらないようだし・・・theano のインストールもちゃんとできてるようだ・・（まだ理解できない部分はたくさんあるんだけれども・・・若干おかしな点や不明な点はいろいろある） ということで途方に暮れていたのでした。。 今回、ひょんな思い付きで ”ドキュメント内サーチ” をかけてみたんですよ
Statistical mechanics of complex neural systems and high dimensional data
Recent experimental advances in neuroscience have opened new vistas into the immense complexity of neuronal networks. This proliferation of data challenges us on two parallel fronts. First, how can we form adequate theoretical frameworks for understanding how dynamical network processes cooperate across widely disparate spatiotemporal scales to solve important computational problems? And second, h
ニューラル言語モデルは何を目的としているのか？ 〜 「A Neural Probabilistic Language Model」を途中まで読んだ - 病みつきエンジニアブログ
word2vecでさんざん遊んだ皆さん、こんにちは。 今日は、word2vecの元になった論文の元になった論文の先行研究になっている論文「A Neural Probabilistic Language Model(Yoshua Bengio)」の紹介です。 word2vecは、単語の素性で足し算・引き算ができたり、単語の類推(アナロジー)ができたり、単語の素性の面白さが注目されています。とは言え、ニューラルネットによる言語モデルは、別に単語の素性で遊ぶために作られたわけではありません。 ということで、ニューラルネットによる言語モデルの本家(？)である「確率的ニューラル言語モデル(Bengio先生)」の論文から、「そもそも何を目的にモデリングしているのか」「なぜニューラル言語モデルが必要なのか」というあたりを、紹介したいと思います(主にIntroductionの部分、ということになります。)
BESOM download
BESOM は大脳皮質に関する神経科学的知見を参考にして 設計した機械学習アルゴリズムです。 Deep Learning 、ベイジアンネット、自己組織化マップ、独立成分分析の機構を あわせ持っています。 BESOM 正式版RC(Release Candidate) を公開しました。 詳細な使い方のドキュメントは今後準備していきます。 まずはデモプログラムを動かしてみてください。 私自身は今後はほとんどコーディングできないと思います。 BESOM 本体の改良および、 BESOM を使った人間のような知能を目指す研究をしたい方はご連絡ください。 BESOM を使った研究テーマの案については下記ページをご参照ください。 BESOM 研究テーマ案一覧 ドキュメント 「BESOM Ver.3.0 β版のアルゴリズム」 「プログラミングが容易な簡易ＧＵＩフレームワーク・コンポーネントウエア lab.L
SOINN：Self-Organizing Incremental Neural Network : 東京工業大学 長谷川研究室 (Hasegawa Lab.)
このページでは，当研究室で開発した教師なし追加学習手法であるSOINN（Self-Organizing Incremental Neural Networks，自己増殖型ニューラルネットワーク）についてご紹介します． SOINN とは？ SOINNとはGrowing Neural GasとSOM（自己組織化マップ）を拡張した教師なし追加学習手法の１つです．主な特徴としてオンラインで入力されるサンプル集合に対し，ネットワークを自己組織的に形成し，サンプル集合の分布を近似することが挙げられます．このとき非定常な分布に従う入力も学習可能であり，分布が複雑な形状をしているクラスに対しても，ノイズの除去を行った上で適切なクラス数およびサンプル集合の分布を近似することができます． このような特徴から，実世界での利用に対して非常に有効な手法の１つであると考えられています． これまでの発表文献 SOIN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Maxlab | HMAX Model
Something went wrong...
Natural Neural Networks
ビジネスデータからの知識発見・活用ソリューション