誤差逆伝播法を宇宙一わかりやすく解説してみる
さて，クリスマスですね．各分野で行われているアドベントカレンダーも最終日です． 恐縮ながら，最も購読者数の多い，機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016を締めくくらせていただこうと思います． ラストに相応しい記事として，機械学習に必要な高校数学をやり直した後で ニューラルネットワークの学習手順を理解してみようという内容にしてみました 実際に高校生に教えてみて理解してきただけた内容なので，1つ1つみていけば決して難しくないはずです． また，これは前回の記事の前提知識が必要となります． 今回はかなり噛み砕いて説明を行なっています．そのため，専門に機械学習を学ばれてる方からすると違和感を感じる表現があるかもしれません，ご了承ください． 私が教えた高校生のスペック 「高校生に教えてみた」という記事ですが，どのレベルの高校生かをはじめに明確にして
ニューラルネットワークの基礎を初心者向けに解説してみる｜迫佑樹オフィシャルブログ
こんにちは，学生エンジニアの迫佑樹(@yuki_99_s)です． 先日の大学の講義でニューラルネットワークを扱ったのですが，それがめちゃめちゃわかりやすかったんです． そこで，ニューラルネットワークの基礎の基礎を，高校生でもわかる簡単な数学だけを使って解説してみようと思います． 理解のしやすさを念頭に置いたので，ニューラルネットワーク・機械学習を専門に学ばれている方からすれば違和感を感じる表現もあるかもしれませんがご了承ください． ニューラルネットワークとは よく聞く，ニューラルネットワークなのですが，一体何なんでしょうか？ これは，とてもざっくり説明すると，人間の脳の仕組みをコンピュータに適用したものです． 人間の脳には，ニューロンと呼ばれる神経細胞があります． このニューロンは，他のニューロンから信号を受け取ったり，信号を受け渡したりすることによって，情報を処理しています． つまり，こ
CycleGAN 対訳がなくても画像を翻訳(変換) – Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
CycleGAN 対訳がなくても画像を翻訳(変換) – Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 画像の世界にも「翻訳」があるのはご存じでしょうか。通常の翻訳と同じように、「意味」(=画像に写っているもの)を維持したまま別の「形や様式」に変換を行うという技術です。この「画像の翻訳」はpix2pixという研究が発表されてから、にわかに注目されるようになりました。以下は、pix2pixで行われた「画像の翻訳」の実例です。 「画像に写っているもの」を維持したまま、別の「形や様式」になっているのがわかるかと思います。これが画像の翻訳です。以下のサイトではオンラインで試せるデモが提供されています。SNS上などでかなり拡散されたため、ご存じの方も多いかもしれません。 Image-to-
見えない体を見る. 一人称視点の映像からカメラをつけている人の姿勢を推定. – Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
見えない体を見る. 一人称視点の映像からカメラをつけている人の姿勢を推定. – Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video GoProなどのアクションカメラが一般化したことで観る機会が増えた一人称視点の映像から、そのカメラをつけている人がその時にどういうポーズをとっているのかを推定しようという研究. 当然、手足はほとんど映っていないわけですから、見えない体を推定することになります. 本研究では映像のゆれのパターンと周囲の風景がどう変化するといったことを手掛かりに、カメラに映っていない体全体を予想しています. カメラは左の写真のように胸につけている模様. (b)のような一人称視点の映像から、(c)の姿勢を推定するということになります. (実際には学習したサンプルデータ内の姿勢を300種類に分類(
写真のStyle Transfer- Deep Photo Style Transfer
ピカソ風、ゴッホ風の絵に変換できるというので一躍有名になった Style Transferの手法を「写真」に応用した研究. 雪山が見事に緑に溢れた写真に変換されているのがわかる. 他の例がこちら. 左の二つが入力写真、スタイルを規定する写真. 次の二つが既存手法 (Style Transfer, CNNMRF) で、一番右が提案手法. 写真らしさをたもつために、一般的なStyle Transferの考え方に加えて、画像の変化を色空間のなかでのローカルなアフィン変換に制限すること、さらにその変換をCNNのレイヤーとして実装することでバックプロパゲーションできるようにしている点が新しい. Matlabのコードが公開されているので、Pythonなどに移植してみると面白いと思います！ This paper introduces a deep-learning approach to photogr
飯塚里志 — ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け
概要： 本研究では，ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する．提案手法では，画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで，画像全体の構造を考慮した自然な色付けを行うことができる．提案モデルにおいて，大域特徴は画像全体から抽出され，局所特徴はより小さな画像領域から計算される．これらの特徴は“結合レイヤ”によって一つに統合され，色付けネットワークに入力される．このモデル構造は入力画像のサイズが固定されず，どんなサイズの画像でも入力として用いることができる．また，モデルの学習のために既存の大規模な画像分類のデータセットを利用し，それぞれの画像の色とラベルを同時に学習に用いることで，効果的に大域特徴を学習できるようにしている．提案手法により，100年前の白黒写真など，様々な画像において自然な色付けを実現できる．色付けの結果はユー
シモセラ エドガー ラフスケッチの自動線画化
本研究では、畳込みニューラルネットワークを用いてラフスケッチを線画に自動変換する手法を提案する。既存のスケッチ簡略化手法の多くは単純なラフスケッチのベクター画像のみを対象としており、スキャンした鉛筆画など、ラスター形式の複雑なラフスケッチを線画化するのは困難であった。これに対し提案手法では、3種類の畳込み層から構成されるニューラルネットワークモデルによって複雑なラフと線画の対応を学習することで、ラスター形式の様々なラフスケッチを良好に線画化することができる。提案モデルでは、任意のサイズやアスペクト比をもつ画像を入力として扱うことが可能であり、出力される線画は入力画像と同じサイズになる。また、このような多層構造をもつモデルを学習させるため、ラフスケッチと線画がペアになった新しいデータセットを構築し、モデルを効果的に学習させる方法を提案した。得られた結果についてユーザテストを行い、提案手法の性
TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ
memo.sugyan.com の続編。 あれから色々な変更しつつ実験してみたりしたのでその記録。 結論を先に書くと、これくらい改善した。 DCGAN ざっくりおさらい Generator: 乱数の入力から画像を生成する Discriminator: 入力した画像がGeneratorが生成したものか学習データのものかを判別する という2種類のネットワークを用意し、お互いを騙す・見破るように学習を行うことで Generatorが学習データそっくりの画像を生成できるようになる、というもの 学習用画像の増加 前回の記事では90人の顔画像データから生成していたけど、あれから収集を続けて もう少し多く集まったので、今回は260人から集めた顔画像100点ずつ、計26,000件を学習に使用した。 Feature matching openai.com の記事で紹介されている "Improved Tech
TensorFlowによるDCGANでアイドルの顔画像生成 - すぎゃーんメモ
アイドル顔識別のためのデータ収集 をコツコツ続けて それなりに集まってきたし、これを使って別のことも…ということでDCGANを使ったDeep Learningによるアイドルの顔画像の「生成」をやってみた。 まだだいぶ歪んでいたりで あまりキレイじゃないけど…。顔画像を多く収集できているアイドル90人の顔画像からそれぞれ120件を抽出した合計10800件をもとに学習させて生成させたもの。 分類タスクとは逆方向の変換、複数のモデル定義などがあってなかなか理解が難しい部分もあったけど、作ってみるとそこまで難しくはなく、出来上がっていく過程を見るのが楽しいし とても面白い。 DCGANとは "Deep Convolutional Generative Adversarial Networks"、略してDCGAN。こちらの論文で有名になった、のかな？ [1511.06434] Unsupervise
CNN による画像分類で使われる前処理・テスト時処理まとめ - iwiwi 備忘録
とりあえず ImageNet 系の論文で、目に入ったものから順々にまとめていきます。情報・ツッコミ歓迎。 前処理・Data Augmentation Mean Subtraction 入力画像から平均を引く。[103.939, 116.779, 123.68] を各ピクセルから引く。VGG はこれ。 Per-pixel Mean Subtraction 入力画像から平均を引く。ピクセル・チャンネルごとに計算された平均を引く。即ち、224x224x3 個の値について個別に平均を計算し用いる。AlexNet 論文から使われており、ResNet もこれ。 Random Crop 256x256 ピクセルに画像をリサイズし、そこから 224x224 のパッチをランダムに取り出す。AlexNet 論文で使われていた。ちなみに Chainer の ImageNet サンプルはこれと Horizonta
画風を変換するアルゴリズム - Preferred Networks Research & Development
Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま
ConvNetJS: Deep Learning in your browser
Description The library allows you to formulate and solve Neural Networks in Javascript, and was originally written by @karpathy (I am a PhD student at Stanford). However, the library has since been extended by contributions from the community and more are warmly welcome. Current support includes: Common Neural Network modules (fully connected layers, non-linearities) Classification (SVM/Softmax)
EC2+cuDNN+Chainerでディープラーニング用爆速計算環境を手に入れる - IT系バンドマンの日常
みなさーん！DeepLearning、楽しんでますかぁーーー！ みなさん「.........（＾ω＾#）ﾋﾞｷﾋﾞｷ」 え、GPU搭載の計算環境がなくて全然楽しめてない？ そんなときはAWSでEC2インスタンスを立ち上げて爆速計算環境を手に入れよう！！！！ ということで今回はAWSでEC2の立ち上げからChainerのインストールまでの作業手順をまとめてみたいと思います EC2インスタンスの立ち上げ EC2インスタンス立ち上げの前にregionを選択します。 regionによってだいぶ値段が違うので、現在どのくらいの値段なのか気になる方は、料金 - Amazon EC2 | AWSの「オンデマンドインスタンス価格」の欄を見ると参考になります。 値段をそんなに気にしない方はTokyoリージョン、少しでも安いのがいい人はOregonリージョンで行きましょう。僕はOregonリージョンにしました
（古い記事）EC2のGPUインスタンスにChainerを5行で入れて4行で動かす - 随所に主と作れば、立処皆真なり
PFI/PFN社でオープンソース公開したディープラーニングフレームワークChainer、すで使って頂いている方、ありがとうございます。 さてそんなChainerですが、MacBookでも簡単に使い始めることはできますが、真価を発揮させるにはGPU環境が欲しいところです。また一方、GPUを積んだデスクトップPCでも（特にPyCUDAの）インストールでつまづく方がいるのも事実です。 開発側の人間としては、できれば手軽に試してもらえる環境を提供したい。そこでは、やはりAWSのEC2でGPUインスタンス使うのが一番いいと思います*1。 Chainer on EC2は何名かブログ等で記事を公開されていますが、今のところ最も簡単な方法はRyosuke TajimaさんのAWSでサクッとChainerを使ってみるです。 が、やはりここでもPyCUDAをソースからのビルドしてもらうことになっています。原因
Deep Learning のフレームワーク Chainer を公開しました - Preferred Networks Research & Development
こんにちは、得居です。最近は毎晩イカになって戦場を駆けまわっています。 本日、Deep Learning の新しいフレームワークである Chainer を公開しました。 Chainer 公式サイト GitHub – pfnet/chainer Chainer Documentation Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持っています。 Python のライブラリとして提供（要 Python 2.7+） あらゆるニューラルネットの構造に柔軟に対応 動的な計算グラフ構築による直感的なコード GPU をサポートし、複数 GPU をつかった学習も直感的に記述可能 ニューラルネットをどのように書けるか 次のコードは多層パーセプトロンの勾配を計算する例です。 from chainer import FunctionSet, Vari
DeepLearningのカレンダー | Advent Calendar 2016 - Qiita
URLYou can post either your article on Qiita or your blog post. About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
【簡単】Chainer/Deelで手軽に学習済みCaffemodelを読み込んで性別や年齢判定に使う【便利】:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活
前回、ついにChainerのCaffeFunctionを改造したことで、いろいろなCaffemodelを取り込んで使う時にもう「Chainerの内部で落ちてるから使い方わからんオワタ」と思わなくて済むようになった。しかし改めてChainerはわかりやすくて素晴らしい。 ちなみにCaffeモデルは公開されているものでも簡単に使えるやつと使えないやつがある。 ものによってはCaffeモデルだけでなく改造済みのCaffeとセットで公開されているものもあり、ちょっとノイローゼになりそうな気分である。それを移植しようとすると、改造済みのCaffeの中身も調査しなければならず、まあ単純に関数が増えたとかならまだいいんだけど、どうもそういうわけでもないケースも散見されて悩ましい。つらい まあいいや。 そういうわけで、いろいろすぐに使えるやつを試して見たんだけど、とりあえず性別判定と年齢判定、それと場所判
人工知能に名画風のプロフィール画像を作ってもらった【ディープラーニング・画風変換】 - ニートの言葉
はじめに こんにちは。あんどう（@t_andou）です。 前回は人工知能の技術として最近話題のディープラーニング（Deep Learning）で何ができるのかという一例として、モノクロ映画のカラー化をやってみました。 前回の記事はこちら andoo.hatenablog.com 今回もディープラーニングを使った事例の紹介です。 今回紹介するのは画風変換と呼ばれるものです。英語ではStyle Transfer と言うようです。 画風変換とは ある画像（インプット画像）を別の画像（スタイル画像）の画風で描き変えることです。 もしかしたら間違ってるかもしれません。でも、そんな感じです。 技術的に細かいことはこちらをご覧ください GitHub - jcjohnson/neural-style: Torch implementation of neural style algorithm 例えば：（
Deep Learningで用いるデータを｢生成｣してみた - 技ラボ
Deep Learningを使うには、問題設定に合致するデータが大量に必要になります。画像データであれば、実際に現地での撮影し、様々な状況を想定しながら地道に少しずつデータを蓄積させる必要があり、簡単ではありません。更に、それらのデータにラベルを付けて、分類して・・・となると多大な労力がかかります。 今回は、Deep Learningで使う学習用データを、ISPが持つ高品位合成技術を用いて作成し、Deep Learningの学習で良い結果を示せたので紹介します。 by Kondo Takanori 2016/1/20 ISPの取り組み～つくばチャレンジ～ ISPでは、近年培ったDeep Learningのノウハウをロボティクスに応用したいと考え、その一環として宇都宮大学の尾崎研究室のグループと共同研究で｢つくばチャレンジ｣に参加しました。 つくばチャレンジ 自律走行ロボットがこなすべき課題
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記
