第10回 NLP若手の会シンポジウム (YANS) のチュートリアルスライドです。ニューラルネットの(アルゴリズムとしての)おさらいと、Chainer v1.3.0の使い方を紹介しています。Read less
Deep Learning の簡単な説明から実装、そしてChainer の使い方を紹介します。CUDA サポートについても簡単に解説します。 最新のインストール方法も含んでいます。Read less
load MNIST dataset epoch 1 graph generated train mean loss=0.573861178756, accuracy=0.92756666926 test mean loss=0.473955234885, accuracy=0.957400003672 epoch 2 train mean loss=0.456328810602, accuracy=0.963833337426 test mean loss=0.436628208458, accuracy=0.966100006104 epoch 3 train mean loss=0.431186137001, accuracy=0.970866675178 test mean loss=0.425710965991, accuracy=0.968000004292 epoch 4 t
このブログで何回も取り上げているように、ニューラルネットワークを用いた機械学習はかなりの力を発揮します。畳み込みニューラルネットワーク(convolutional neural network, CNN)は画像中で近くにあるピクセル同士の関係に注目するなど画像の特徴をうまくとらえたネットワークを構築することでかなりの成功を収めています。ノーフリーランチ定理が示唆するように万能の機械学習器は存在しないため、対象とするデータの特徴を捉えた学習器を構築することが機械学習の精度を上げる上で重要になります。 そこで今回は時系列データの解析に向いた回帰結合ニューラルネットワーク(recurrent neural network, RNN)の精度を上げるのに重要なLSTMを取り上げます。 この記事では誤差逆伝搬などのニューラルネットワークの基本知識は説明しません。誤差逆伝搬についてはPRMLの5章やNe
はじめに そもそもDQNが作りたかったわけじゃなくて、他の目的でChainerを使いたかったのでその練習にDQNを書いたんですが、せっかくだし公開しようと思いました 公開しました 。またどうせ公開するなら、この機会にこれ(Q学習+関数近似)関連で持っている知識をついでに整理しようと思ってまとめました。 ニュース記事とかNatureとかNIPSの論文だけ読むと、DQN作ったDeepmind/Googleすげー!!!って感覚になりそうですが、強化学習的な歴史的経緯を考えると強化学習+深層学習になった、むしろかなり当然の成り行きで生まれた技術であることがわかります。(ATARIのゲームを人間以上のパフォーマンスでプレイするというのがビジュアル的にわかりやすかった$\leftrightarrow$問題設定が良かったというのもあります。) この記事ではNIPSとNatureの以下の2本の論文 ・ V
こちらが改訂版なので,ダウンロードするならこちらで: http://www.kamishima.net/archive/scipy-overview.pdf 第15回情報科学技術フォーラム (FIT2016) での講演「科学技術計算関連Pythonパッケージの概要」の発表資料です. * 講演ページ: http://www.ipsj.or.jp/event/fit/fit2016/FIT2016program_web/data/html/event/event72.html * 小嵜 耕平さん資料「Python とデータ分析コンテストの実践」 https://speakerdeck.com/smly/python-todetafen-xi-kontesutofalseshi-jian * サンプルファイル: https://github.com/tkamishima/fit2016tutor
「いつか勉強しよう」と人工知能/機械学習/ディープラーニング(Deep Learning)といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、本質的な理解等はさておき、とにかく試してみるということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ/フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種(DeepDream、chainer-gogh)。 (DeepDreamで試した結果画像) タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕はハ
2015 年も残りわずか数時間です. 今年もおつかれさまでした. 個人的に今年を振り返りたいと思います. Deep Learning 個人的に一番大きかった出来事はやはり Chainer でした. Theano や Torch7 がつらくて,特に RNN をもっと直感的にかけないものかと社内で議論していて,そのうちにできる気がしてきて作りました. こんなに大事になるとは思っていませんでした. 見知らぬ人が使ってくれているのを見ると,すごいことになったなと思います. さて,Deep Learning の中身の話としても,今年もいろいろと進展がありました. 最もインパクトがあったのは,BatchNormalization ではないかと思います. もともと ImageNet のタスクで出てきた手法ですが,汎用性が高く,今までうまく最適化できなかったいろいろな NN がこれのおかげで成功し始めてい
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア You can train a deep neural network on your web browser 2015.12.24 Updated by Ryo Shimizu on December 24, 2015, 06:00 am JST 先日発表した深層学習(ディープラーニング)をWebブラウザ上から手軽に行うためのオープンソース・ソフトウェア、「DEEPstation(ディープステーション)」をついに公開しました。現在、Githubより誰でもダウンロードして使用することが出来ます(https://github.com/uei/deepstation)。 DEEPstationは、ディープラーニングを手軽に実験するためのGUIベースのアプリケーションで、以下のような特徴があります。 国産ディープラーニングフレ
PFNのmattyaです。chainerを使ったイラスト自動生成をやってみました(上の画像もその一例です)。 20日目の@rezoolabさんの記事(Chainerを使ってコンピュータにイラストを描かせる)とネタが被っちゃったので、本記事ではさらに発展的なところを書いていきたいと思います。一緒に読んでいただくとよいかと。 概要 Chainerで画像を生成するニューラルネットであるDCGANを実装した→github safebooruから顔イラストを集めてきて学習させた 学習済みモデルをconvnetjsで読み込ませて、ブラウザ上で動くデモを作成した→こちら(ローディングに20秒程度かかります) アルゴリズム 今回実装したDCGAN(元論文)はGenerative Adversarial Networkというアルゴリズムの発展形です。GANの目標は、学習データセットと見分けがつかないようなデ
この記事は Chainer Advent Calendar 2015 17 日目の記事です。 はじめに サイズが大きいデータを Deep Learning すると学習に時間がかかってつらい。時間がかかってつらいので並列処理して高速化したい。 並列化するのに良さそうなパッケージないかな? と探してみると、Dask という並列 / Out-Of-Core 計算パッケージを見つけた。これと Chainer を組み合わせると並列処理が簡単に書けそうな気がする。 最初は MNIST を並列化してみたが、データが小さすぎるせいか むしろ遅くなってしまった。もう少し大きいデータである CIFAR-10 を使い、より深いネットワーク構造でその効果を確かめたい。 最終的には以下二つの処理を並列化することを目指す。 Data Augmentation DNN の学習 1. Data Augmentation
自然言語処理とニューラルネット ここ数年で、自然言語処理の分野でもニューラルネットが非常に頻繁に使われるようになってきました。 自然言語処理で主に解析対象となるのは単語の配列や構文木などで、これらの内包する情報を表現するためにrecurrent neural network1やrecursive neural network1などに基づくモデルが頻繁に使われます。これらの最大の特徴はニューラルネットがある種のデータ構造を持っているという点で、1レイヤあたりのノードはそれほど多くない代わりにネットワークの接続が複雑で、しかも入力されるデータごとにネットワークそのものの形状が変化するという特徴があります。このため、伝統的なfeedforward neural networkを前提としたツールキットでは構築が難しいという問題がありました。 Chainerは、そのような問題を概ね解決してしまう強力
2015年現在、世間は第3次人工知能ブームの真っ只中にある。人工知能やその応用に関する記事がWebだけでなく一般紙にも連日のように取り上げられ、人工知能の発展がもたらす社会的変化や未来に関する懸念についても盛んに議論されている。 そこで中心的な役割を果たしているのが、機械学習であり、特に深層学習(ディープラーニング)に注目が集まっている。深層学習は大規模かつ複雑なニューラルネットワークモデルを効率的に構築するための一連の手法であり、その威力は様々な機械学習の応用分野に広がっている。 本稿では、Preferred Networks/Preferred Infrastructureが開発したディープラーニングの開発フレームワーク「Chainer」の概要と、Chainerを使ったディープラーニングの構築手法を説明する。 ニューラルネットワークの逆襲 ニューラルネットワークは第1次人工知能ブームか
この記事は古いです。最新版は、こちらの記事を参照して下さい。いずれこの記事は消します Chainer 1.5になってからインストールが若干面倒になり、失敗しやすくなりました。ここでは、Amazon EC2にChainerを簡単に入れる方法を解説します。 CUDAとドライバのインストールが面倒なので、nVidia公式の "Amazon Linux AMI with NVIDIA GRID GPU Driver" を使います。起動して、ログインしたら、以下のコマンドを実行して下さい。 $ sudo yum-config-manager --enable epel $ sudo yum install -y hdf5-devel $ sudo CUDA_PATH=/opt/nvidia/cuda pip install chainer 3行の内訳は以下のとおりです。 hdf5をインストールするた
GoogleがDeep Learning用のフレームワークTensorFlowをオープンソース化して公開しましたね(2015/11/9)。いろんな人がインストールしてみたとか、Tutorialを実行してみたという記事やブログをすでに書かれています。出遅れた感はありますがせっかくなのでTensorFlowをいろいろいじってみました。ただTutorialを実行するだけでは面白くないので同じものをChainerでも書いてみることにしました。Chainerもまだ始めたばかりなので全く同じではないですがそのへんはご勘弁ください。 なぜChainerなのかというと、CaffeやTheanoが面倒くさそうに見えたのに対し、Chainerはコードがスマートに感じたからです。個人的な感想ですが・・・。あとChainerではRNNが書けるということで、ほかができないものができると言われるとなんだか良さそうに感
Deep LearningフレームワークChainerのAdvent Calendarです。Chainerに関する様々な記事を募集しています。 Chainerを使ってみた、Chainerはこんな使い方もできる Chainerを使ったシステム・サービスを作った Chainerのモジュール解説 Chainerにこういうモジュール・機能がほしい Advent Calendar on Deep Learning Framework Chainer. We call for articles about Chainer including but not limited to: I tried Chainer. I used Chainer in this way. I built a service or system with Chainer. I wrote a think piece of
これまでDeep LearningのアルゴリズムをTheanoで実装してきた(2015/4/29)けれど、ここらで巷で大人気のライブラリChainerにも手を出してみた。Theanoの勉強を始めたあとすぐにChainerが公開された(2015/6/9)がユーザや情報が増えるまで待っていた感じ(笑)最近はコードや実験結果などを公開してくれる人が増えてきたので非常に参考になっている。目についたものはてぶに登録しているので、興味を持った手法はがしがし勉強して追試していきたい。 Chainerのバージョンは1.3.2をベースにしている。1.3からPyCUDA/scikit-cudaを独自ライブラリのCuPyに置き換えたとのことで、以前のコードは少し修正しないと動かないようだ。その分、1.3からはインストールがシンプルになっていてとてもうれしい。1.1のころは、Chainerと直接関係ないPyCUD
皆さんこんにちは お元気ですか。私は元気です。 Chainerと呼ばれる機械学習ライブラリを紹介しようと思います。 Chainerについて Chainerとは? ChainerはPreffered Networksが開発したニューラルネットワークを誤差伝播で学習する ライブラリです。(Python)chainer.org 特徴として、Chainer は、「実際に Python のコードを用いて入力配列に何の処理が適用されたかだけを記憶しておき、それを誤差逆伝播の実行に使います」だそう。 Install sudo pip install chainer 基本的にこれだけのインストールが非常に簡単なソフトウェアです。 他のライブラリとの比較 ディープラーニングが活かすIoTより抜粋。 個人的に注目した違いは以下の3点 CaffeもTheanoも勉強することが多い。(設定ファイルとか) 短く書け
皆さんこんにちは お元気ですか。私は元気です。 本日は、ChainerのGPU設定を行っています。 なぜか、GPUの設定をすると毎度、毎度苦労することになります。 pip install chainer-cuda-deps このコマンドで実行できるとありますが、たいていの人のところでは 実行できないようです。これは、CUDAの設定が関係あるのかもしれません。 因みに私の場合はcuda.hがありませんと言われていました。 In file included from src/cpp/cuda.cpp:1:0: src/cpp/cuda.hpp:14:18: fatal error: cuda.h: No such file or directory #include <cuda.h> ^ compilation terminated. error: command 'x86_64-linux-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く