You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
勉強のため たまに Pylearn2 など Theano を使ったパッケージのソースを眺めたりするのだが、theano.scan の挙動を毎回 忘れてしまう。繰り返し調べるのも無駄なので、一回 整理したい。theano.scan の動作は theano.function が前提となるため、あわせて書く。 準備 import numpy as np import theano import theano.tensor as T theano.function まずは Theano における関数にあたる Function インスタンスを作成する theano.function の基本的な挙動について。引数はいろいろあるが、特に重要と思われるのは以下の4つ。 inputs : Function への入力 (引数) に対応するシンボル。 outputs : Function 化される式。 upda
Introduction to Neural Machine Translation with GPUs (part 1) Note: This is the first part of a detailed three-part series on machine translation with neural networks by Kyunghyun Cho. You may enjoy part 2 and part 3. Neural machine translation is a recently proposed framework for machine translation based purely on neural networks. This post is the first of a series in which I will explain a simp
昨日の記事の続き。 Python Lasagne でニューラルネットするチュートリアル その 1 - Mi manca qualche giovedi`? まずは、Lasagne のハマリポイントを紹介しながらコードの説明。 そのあと、ディープラーニング? ディープニューラルネットワーク? どちらの呼び名が正しいのかビミョウに自信ないが、要は畳み込み& max-pooling &ドロップアウトを織り交ぜたモデルを学習させようとするとハマリポイントが増えるので、そのあたりの注意点とサンプルコード。 def digits_dataset(test_N = 400): import sklearn.datasets data = sklearn.datasets.load_digits() numpy.random.seed(0) z = numpy.arange(data.data.shape
新入社員の松元です。はじめまして。 “分散深層強化学習”の技術デモを作成し、公開いたしました。ロボットカーが0から動作を学習していきます! まずはこの動画を御覧ください。 以下で、動画の見どころと、使っている技術を紹介します。 動画の見どころ Car 0(○の付いている車)が右折カーブの手前で減速する様子(右画面の白いバーのところが、ブレーキのところで赤くなっている。ニューラルネットはブレーキが最も多く報酬が得られると推測していることがわかる)。速い速度ほど報酬は大きいが、カーブを曲がりきれず壁にぶつかってしまうので学習が進むとカーブ手前でのみ減速するようになる。 目の前に車がいるときは一時停止して、いなくなってから加速する。 エチオピアには本当にこのような交差点があるらしい。 ぎりぎりですれ違う2台。学習途中ではすれ違いきれずにぶつかって倒れてしまうこともある(早送りシーン中に人が写って
I just started to study deep learning, which is huge boom both in academia and industry. A week ago, a Japanese company called Preferred Infrastructure (PFI) released new deep learning framework " chainer"! This framework is really great. I was able to implement a recurrent net with less than 100 lines of python code. Specifically, I tried new recurrent neural network (RNN) called IRNN described
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
Caffeがはやっている。 画像認識系のDeep learning をするときにいい。というのはこちらに書いてある。 環境は ubuntu 14.04 GPUはない!! インストールはこちらやこちらを参考にコピペするだけ。 ハマったことその1:CPUモード CaffeはGPUがないボンビーについてもCPUだけで計算してくれる心優しいモードがある。その場合はコンパイルのときに Makefile.config を # CPU_ONLY := 1 ↓ CPU_ONLY := 1 としてからmake することでCPUだけしかない環境でもできるようになる。その後、make runtest でエラーがなければCPUだけでも画像認識ができる。 やったねたえちゃん! 技能が増えるよ!! … !?!?!? build/tools/caffe train --solver examples/cifar10/c
モチベーション DeepLearningを簡単に書けることで最近話題のChainerだけど、いまいちAPIがまだ洗練されていない気がしたのでscikit-learn likeに使えるようにしてみた。 成果物 -> https://github.com/lucidfrontier45/scikit-chainer , https://pypi.python.org/pypi/scikit-chainer 方針 scikit-learnと同じようにmodel.fit(X, y)やmodel.predict(X), model.score(X, y)のように使えるようにする。 実装 そんなに長くないので全部貼っつける。 まずは基底クラス。sklearn.base.BaseEstimatorに相当します。 from abc import ABCMeta, abstractmethod from c
皆さんこんにちは お元気ですか。私は自由に元気です。 今日はRecurrent Neural Networkについて見て行きたいと思います。 Recurrent Neural Network Recurrent Neural Networkは通常のネットワークと異なり、時系列が考慮されているニューラルネットワークです。 解ける問題としては、翻訳、文書生成、音声生成などに使えると思います。 最近では画像を説明する文章を生成する問題にも活用されていて、今後、特に使われる ことになると考えています。 言語表現 各ワードは次のようなベクトルで表現できるとします。 入力の時には対応するワードのベクトルを入力します。 {犬,と,猫,と,狐,が,好き}といった文章があるとすると、 ワードベクトルのインデックスで表現するとなると{0,1,2,1,3,4,5}と表すことができる。 ネットワーク構成の概要 画
皆さんこんにちは お元気ですか。私は人生元気に仲良くフリーダムに生きています。 本日はDenoisingAutoEncoder(DAE)を使って実験してみたいと思います。 DeepLearningの重みは可視化できます。他のブログで掲載されている 可視化について殆ど、MNISTだったので、今回試しに、 アニメ顔の特徴を抽出してみました。 データセット 今回の実験ではanimeface-character-datasetを使います。 Tile化して表示させるのが面倒だったので、Finderのスクリーンショットで お許し下さい。 ※7/13追記:animeface-character-datasetはanimeface-character-datasetから手に入ります。 ソースコード Chainerを使って記載しました。大部分のDAEのコードは Implementation of stack
皆さんこんにちは お元気ですか。私は元気です。 本日は、Lasagneを紹介したいと思います。 What is Lasagne? Lasagneは簡単にニューラルネットワークを構築できるライブラリです。 Lasagne/Lasagne · GitHub CNNやRNN(LSTM含)をサポートしている 複数の入力と複数の出力をサポートしている 複数の最適化関数を用意している。(AdamやRMSPropなど) Theanoを活用しているので、自由に誤差関数を決めることができる。また、その誤差関数については微分をする必要がない。 Kaggleとかでは、誤差関数が違うので、自分で簡単に誤差を定義できる点は大きいですね。 システムに組み込むよりも研究とかコンペティションに強い感じでしょうか。 では実際に使ってみましょう。 How to install pip install -r https://r
概要 今のところChainerでtied weightなAutoencoderを作りたい場合、簡単に作る方法がありません なので再利用可能な形で作ってみました GPUも対応しています Qiita初投稿です。よろしくお願いします Chainer1.3.1に対応しました 方針 Autoencoderの変換・再構成までをまるまるchainer.function.Functionの派生クラスに落としこむ コード こちらに上げました Autoencoderクラスをインポートして使用してください こまかいこと 中間層の活性化関数は変更可能ですがデフォルトでシグモイド関数です 中間層のdropoutは行いません 再構成した結果は活性化関数を適用してない状態で返します 簡単な使い方 chainerのFunctionなのでchainer.functions.Linearなどと同じように使用します。n_inp
こんにちは。コロンビア大学の久米です。7月からの2ヶ月間、ロボットと機械学習をテーマにインターンをしました。この記事は先日、ustreamで発表した内容のダイジェスト版となっています。 インターンでは、6本脚ロボットが脚を失ってもすぐに新しい歩き方を学習する方法の実装を行いました。具体的にいうと、Natureで2015年に発表された、Robots that can adapt like animals(PDF)の再現実験です。ロボットの組み立て、シミュレーション(事前学習)、手法の実装、実験をしました。 下の動画を御覧ください。6本脚ロボットは、6本の脚を使って歩行します。左側の動きが通常時の動き方です。歩行中、脚を一部失ってしまうこともありえます(下の写真)。そうすると右側の動画のように同じように脚を動かすだけでは、前向きに歩くことができなくなってしまいます。 今までの方法では、ロボット
Posted by Christian Szegedy, Software Engineer The ImageNet large-scale visual recognition challenge (ILSVRC) is the largest academic challenge in computer vision, held annually to test state-of-the-art technology in image understanding, both in the sense of recognizing objects in images and locating where they are. Participants in the competition include leading academic institutions and industry
目次 定義と構造 復元 確率分布 コードサンプル:Deeplearning4jを使ったIrisで制限付きボルツマンマシンを起動する パラメータ及びkについて 連続的なRBM 結論及び次のステップ 定義と構造 Geoff Hintonによって開発された制限付きボルツマンマシン(RBM)は、次元削減、分類、 回帰 、協調フィルタリング、特徴学習、トピックモデルなどに役立ちます。(RBMなどの ニューラルネットワーク がどのように使われるか、さらに具体的な例を知りたい方は ユースケース のページをご覧ください。) 制限付きボルツマンマシンは比較的シンプルなので、ニューラルネットワークを学ぶならまずここから取り組むのがよいでしょう。以下の段落では、図と簡単な文章で、制限付きボルツマンマシンがどのように機能するのかを解説していきます。 RBMとは浅い2層のニューラルネットであり、ディープビリーフネッ
概要 Deep Learning の学習には時間がかかるため、進捗が都度 確認できるとうれしい。その際、テキストのログ出力では味気ないので、リアルタイムでプロットを眺めたい。 いくつかの Deep Learning パッケージではそういった機能 (Live Monitoring) が提供されている。 Undefined Intelligence: Monitoring Experiments in Pylearn2 Live plotting — Blocks 0.0.1 documentation fchollet/hualos · GitHub 同じことを Chainer でやりたい。自分は EC2 を使うことが多いので、リモート環境でも利用できるものがいい。そのため、ここでは Bokeh を使うことにした。 Bokeh とは Bokeh とは、D3.js を利用したブラウザベースのイ
この前のエントリーで紹介した僕も参加している機械学習系スタートアップのAlpacaですが、本日ファーストプロダクト Labellio(ラベリオと読みます)をリリースしましのたで、お知らせします。 http://blog-jp.alpaca.ai/entry/2015/06/30/100126blog-jp.alpaca.ai このプロダクトのおもしろいところは、かなり面倒(はまったら簡単に2,3日消えます)なDeep LearningライブラリのCaffeのセットアップも、 GPU付きPCの確保も全て不要で、いきなりDeep Learningの画像認識ができる部分で、たぶん皆様が画像認識に期待する多くのことをかなり うまく達成することができると思います。 もう一個おもしろいのが、作成した画像認識モデルを自分のプロダクトで利用する方法もオープンソースですべて公開しています。 GithubのL
うっかりこのシリーズでJapan.Rで喋ることに決めてしまったせいで関係各方面からのプレッシャーを感じつつある今日この頃ですが。 ともあれ一度乗ってしまった舟なので、このままだらだら{h2o}でDeep Learningというお題でちょっとシリーズ的にやってみようと思います。前回は適当に決定境界を描くところまではやってみたので、今度はパラメータをいじりながら決定境界を描き分けるということをやってみます。なお、他の分類器との比較という点では以前の記事をご覧いただくのがよろしいかと。 そうそう、前回もちょっと書きましたが今回のシリーズではスモールデータしか扱いませんので、必然的にDeep Learningならではの利点が生きない局面も多いです。この点はそもそも大して手間をかけてない記事なのでどうか悪しからず、ということで。。。ちなみに最近話題のCaffeなんかも興味はありますし、さらに画像分類
Schedule and Syllabus Unless otherwise specified the course lectures and meeting times are: Tuesday, Thursday 3:00-4:20 Location: Gates B1
はじめに 前々からDeep Learning系、特にその時系列への応用に興味があって、それにはリカレント・ニューラル・ネットワーク(Recurrent Neural Network, 以下RNN)ってのを理解する必要があるのは知っていたが、@yamano氏から @teramonagi こちらです。まずは手軽に使わせていただきました。 http://t.co/WTWmePJ0Hc— バイアス撲滅委員会 (@yamano357) 2015, 1月 8 というありがたいアドバイスを頂戴した。それに基づいてググりはじめると、Stuttgart(シュトゥットガルト)大学というドイツにある、たぶん日本でいう東工大的なポジションの大学が開発している、ニューラルネット関連の実装をたくさん詰め込んだライブラリ http://www.ra.cs.uni-tuebingen.de/SNNS/ が元々あって、それ
ここ1年ほど、人工知能、特に機械学習(Machine Learning)に関する技術革新が著しい。ディープラーニング(多段のニューラルネットワークによる機械学習)が画像認識、音声認識で目覚ましい成果を挙げているのは、その象徴だ。 それに伴い、機械学習の機能を情報システムに組み込むツールも充実してきた。クラウドサービスして提供する「クラウドAI」を米IT企業が相次ぎリリースしたほか、大規模データを扱えるオープンソース実装も増えている。 本特集では、主要な機械学習ツールの特徴や使いこなし方を解説する。 [6]国産の深層学習フレームワーク「Chainer」とは何か 本稿では、Preferred Networks/Preferred Infrastructureが開発したディープラーニングの開発フレームワーク「Chainer」の概要を説明する。 2015.10.01 [5]NVIDIA DIGIT
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く