L4: Practical loss-based stepsize adaptation for deep learning
We propose a stepsize adaptation scheme for stochastic gradient descent. It operates directly with the loss function and rescales the gradient in order to make fixed predicted progress on the loss. We demonstrate its capabilities by conclusively improving the performance of Adam and Momentum optimizers. The enhanced optimizers with default hyperparameters consistently outperform their constant ste
An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithms Gradient descent is the preferred way to optimize neural networks and many other machine learning algorithms but is often used as a black box. This post explores how many of the most popular gradient-based optimization algorithms such as Momentum, Adagrad, and Adam actually work. This post explores how many of the most popular gradient-based
強化学習で考えるギャンブラーの最適行動 - kivantium活動日記
強化学習と呼ばれる機械学習の一分野があります。機械学習というと、入力に対して正解の出力を当てる教師あり学習が話題になることが多いですが、強化学習では明示的に正解が与えられません。ある行動を試してみて、それに対して得られる「報酬」から自分でどのような行動が良い結果をもたらすのかを判断して、より良い行動を学習するアルゴリズムになっています。 強化学習にはチェスやリバーシなどといったボードゲームのAIやロボットの行動学習などの応用例があります。この前話題になったDeep Q Network、通称DQNも強化学習の一種です。応用例が面白いにも関わらず、PRMLなどの主要な機械学習の教科書では強化学習を扱わないことが多いので、いま強化学習だけの参考書を買って勉強しています。 強化学習 作者: Richard S.Sutton,Andrew G.Barto,三上貞芳,皆川雅章出版社/メーカー: 森北出
DenoisingAutoEncoderでアニメ顔の特徴を抽出してみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は人生元気に仲良くフリーダムに生きています。 本日はDenoisingAutoEncoder（DAE）を使って実験してみたいと思います。 DeepLearningの重みは可視化できます。他のブログで掲載されている 可視化について殆ど、MNISTだったので、今回試しに、 アニメ顔の特徴を抽出してみました。 データセット 今回の実験ではanimeface-character-datasetを使います。 Tile化して表示させるのが面倒だったので、Finderのスクリーンショットで お許し下さい。 ※7/13追記：animeface-character-datasetはanimeface-character-datasetから手に入ります。 ソースコード Chainerを使って記載しました。大部分のDAEのコードは Implementation of stack
第 42 回 #TokyoWebmining 深層学習・表現学習 徹底活用 祭りに行ってきたよ
今回の TokyoWebmining はここ最近、特に注目を集めている Deep Learning と word2vec がトピックということで、参加者募集も数分で枠が埋まってしまうほどの大人気っぷりでした。 せっかくなので、（参加したくても参加できなかった方々も多いことかと思いますし）たまにはまとめエントリを、会場内での質問やディスカッションを中心に書いてみようかと思います。 (聞き間違い・勘違いなどがあるかと思いますので、気づかれたかたはツッコミ願います) 深層学習時代の自然言語処理 by @unnonouno さん 深層学習時代の自然言語処理 from Yuya Unno Recurrent Neural Network p.11 Recurrent Neural Network 1 個の単語に対して、1 個の dense ベクトルがある 次元数は 100〜1,000 ぐらい RNN
ディープラーニングを使ったイメージの切り抜き | カメリオ開発者ブログ
こんにちは、シバタアキラです。この度PyDataの本家であるアメリカのコミュニティーで半年に一度開催されているPyDataカンファレンスに出席するため、NYCに行って来ました。11/22-11/23の二日間の日程で行われ、延べ250人ほどが参加したイベントです。その時の模様は、先日のPyData Tokyo第二回ミートアップでもご説明させていただき、また後日記事化されると思いますので、そちらをぜひご覧いただければと思います。 今回はそのPyData NYCカンファレンスで私が発表してきたミニプロジェクトについてお話します。最近各所で話題に上がるディープラーニングですが、これを使った応用を「カメリオ」のサービス向上のために使えないか、というのがそもそものプロジェクトの着想でした。今回PyData Tokyoオーガナイザーとして、またディープラーニングで色々と面白い実験をしている田中さん（@a
自然言語処理のためのDeep Learning
1. 自然言語処理のための Deep Learning 東京工業大学 奥村・高村研究室 D1 菊池悠太 @kiyukuta at 2013/09/11 Deep Learning for Natural Language Processing 13年9月28日土曜日 3. 2つのモチベーション - NLPでニューラルネットを - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough !! 焦って早口過ぎてたら 教えて下さい A yet another brief introduction to neural networks http://www.slideshare.net/yutakikuchi927/a-yet-another-brief-introduction-to-neural- networks-26023639 13年9月28日土曜日
Hello Autoencoder — KiyuHub
Hello Autoencoder 最近，身内でDeep Learningを題材に含んだ勉強会を行なっている． メインは専門である自然言語処理まわりだが， とりあえず実装(というよりnumpy)の導入になる上，結果を視覚化できることから， 画像データを利用したAutoencoderの実装について取り扱った． 軽い説明と共にコードと，色々な結果を Autoencoder Autoencoderとは,Neural Networkの特殊系で，基本的には 入力層と出力層のユニット数が同じである． 教師信号として入力そのものを与える． という特徴を持つ． 入力と出力が共に4次元で，隠れ層が2次元なAutoencoderの図 Autoencoderは，入力の情報をを一度隠れ層の空間に写像(encode) したあと， 元の信号を復元(decode)するようなパラメータを学習する． 図のように，もしも隠れ
Caffeで手軽に画像分類
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部 データソリューション本部の宮崎です。 最近ディープラーニングと呼ばれる技術の話題を耳にすることが増えてきました。 この記事ではディープラーニングの手法を実装し画像認識系の用途で便利に使えるCaffeというツールの使い方を紹介します。 Caffeの概要 Caffeは、C++で実装されGPUに対応した高速なディープラーニングのライブラリです。 大規模画像認識のコンテストILSVRCで2012年にトップとなった畳込みニューラルネットワークの画像分類モデル[1]がすぐに利用できるようになっています。 Caffeは、カリフォルニア大学バークレー校のコンピュータビジョンおよび機械学習に関する研究センターであるBV
deep learningわからん & An Analysis of Single-Layer Networks in Unsupervised Feature Learning (NIPS2010)読んだメモ - 糞糞糞ネット弁慶
Deep learning 2009年半ばぐらいからdeliciousのエントリーにDeep Learningの名前を良く見るので気になっていた． http://www.quora.com/Why-does-deep-learning-require-the-construction-of-generative-data-models Deep Learning via Hessian-free Optimization (slide) このquoraとスライドなどを読んでもまだわからない．イメージとしてはこんな感じ． 隠れ層が深すぎるbelief network(deep net)は学習に時間がかかる しかも上手くいかない 隠れ層が多くなりすぎるとバックプロパゲーション時に伝播するアレが浅い層になるにつれどんどん値が小さくなる(vanishing gradient problemと呼ばれ
Contents — DeepLearning 0.1 documentation
© Copyright 2008--2010, LISA lab. Last updated on Jun 15, 2018. Created using Sphinx 1.5.
Restricted Boltzmann Machineの学習手法についての簡単なまとめ
近年の機械学習ではDeep Learningと呼ばれる分野が一世を風靡しています．コンピュータビジョンや自然言語処理，音声認識などの分野では何らかの問題を解こうとした際に，まず対象の入力データからSIFTやケプストラムといった何らかのアルゴリズムを用いて特徴ベクトルを抽出し，ごりごりと判別していくといった流れが一般的です．しかし，その特徴ベクトルを生成するという生のデータから本質となる部分を抽出するアルゴリズム自体は研究者が一生懸命考えながら作るのが普通でした． Deep Learningの分野で最も有名な手法の一つであるDeep Belief Nets(DBN) [Hinton06]は，研究者がアルゴリズムを作るのではなく，それ自体も機械学習にやらせましょうという動機で生まれたアルゴリズムです．DBNではまるで一昔前にやたら流行ったニューラルネットワークのように各ノードを層状に配置し，そ
【ディープラーニング】AlchemyVisionの画像タグ付けAPIで動物画像をひたすらタグ付けするbotを作りました - 歩いたら休め
タイトルの【ディープラーニング】はちょっと釣りくさいですが; AlchemyVisionという、画像解析やテキスト解析にDeep Learningを利用できるAPIが話題になっています。 機械学習系サービスの簡単な紹介記事を書きました。深い話はおいおい。 AlchemyAPIのAlchemyVisionを使ってみる http://t.co/nxbUY7b7h3 #techsketch — Jun Saeki (@sobeit) June 23, 2014 AlchemyAPIは米国のコロラド州デンバー発の人工知能系の技術を応用した自然言語処理や文書解析のサービスを、主に法人向けに展開している企業です。設立自体は2005年とすでに9年ほど経っていますが、シリーズAのファンドを受けたのは2013年になってからですし、名前を目にするようになったのは最近になってからです。 実際にいろいろな写真をデ
佐村河内問題へのコンピュータビジョン的アプローチ | ぱろすけのメモ帳
序論 近年、全聾の作曲家とされた佐村河内守氏がゴーストライターを用いていたことを告白し、同時に障害者手帳の不正受給も疑われ、大きな問題となっている。その報道の中で、佐村河内氏の容姿が多くの著名人と酷似していること、2月の会見と3月の会見で外見が大きく変化したことが話題となった。 具体的には、2月の会見の時点で話題になったものが 笑 佐村河内を探せ！（勝手に改訂版） pic.twitter.com/3TLFm14PvZ” — FACT (@factjapan) February 7, 2014 であり、3月の会見を踏まえて修正されたものが 佐村河内を探せの最新版ｸｿﾜﾛﾀ pic.twitter.com/ptNhxecCW4 — 天才指揮者bot (@Siegfried_Idyll) March 7, 2014 である。 ここで興味深いのは、佐村河内氏の顔をコンピュータに学習させ、これらの顔
確率的勾配降下法+α の話をしました - kisa12012の日記
先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa 確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装してSGDを回してみたことのある人も多いと思います． 一方で 結局ステップ幅の設定が大変 正規化とか前処理しないとそれほど上手く動いてくれない などなどSGDには欠点も多く，たくさんの人が使う際に苦しめられてきた現実もあるのではないでしょうか． 今回の発表では，SGDの欠点を克服するため，およびさらなる長所を加えるための，最新の+α拡張研究について紹介しました． 内容は， ステップ幅設定に今後悩まさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記
機械学習を用いた東西日本の境界線決定
論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012)
Amazon.co.jp: :
UFLDL Tutorial - Ufldl