Troubleshooting Deep Neural Networks
Troubleshooting Deep Neural Networks A Field Guide to Fixing Your Model Why? When I started in deep learning, I felt frustrated that I was spending most of my time debugging instead of the "fun" stuff. (Later, I discovered that debugging never goes away, and the best practitioners still spend most of their time on it.) As I learned more and began helping others train models, I realized that much o
deep metric learningによるcross-domain画像検索 - ZOZO TECH BLOG
ZOZO研究所でインターンをしている松井です。本記事では、cross-domain画像検索とdeep metric learningの概要と、cross-domain画像検索で良い精度を達成するためのテクニックを取り上げます。 metric learningの概要 metric learningとは、データ間の関係を表す計量（距離や類似度など）を学習する手法です。 画像分類や、画像検索などに応用できます。 意味の近いデータの特徴量どうしは近く、意味の異なるデータの特徴量どうしは遠くなるような計量を学習 します。 意味の近いデータのペアを positive pair 、意味の異なるデータのペアを negative pair と呼びます。 deep learningが出てくる前の代表的な手法として、マハラノビス距離の共分散行列を学習させる手法があります。 ：データの特徴量 ：パラメータ（共分散
DistillerでDeepLearningのモデルを軽量化: Gradual Pruning編 - tkato’s blog
DeepLearningのモデル軽量化の気になっていたライブラリを使ってみました。今回はざっくりと導入の仕方と簡単な使い方、ライブラリの仕組みなどを調べた内容を書きたいと思います。はじめて使う人のガイドになればと思います。 IntelのNeural Network Distiller。pruningや8-bit quantizationなど軽量化アルゴリズムのフレームワーク。PyTorchのモデルを軽量化してONNX出力。TensorBoardと連携したモニタリングもできて使い勝手良さそう。https://t.co/5qm2IoUuuA— tkato (@_tkato_) 2018年5月1日 Distillerとは PyTorch向けのモデル圧縮ライブラリです。以下のような特徴があります。 数種類の枝刈り(pruning), 量子化(quantization), 正則化(regulariz
CNNモデル比較論文 "An Analysis of Deep Neural Network Models for Practical Applications"を読んだ - 人間だったら考えて
深層学習を用いた画像認識分野では様々なCNNのネットワーク構造が提案されており，ImageNetデータセット等を用いた予測精度比較が広く行われています． じゃあどのCNNモデルを使うべきなんだろう…と考えていましたが，最近こんなtweetが目に入りました． 代表的なCNNアーキテクチャについて、パラメータ数や実際の演算量・時間、エネルギー消費などを精度との関係とともに検証。純粋に読み物として面白くてさくさく読めるし、肌感覚的にNW構造と計算量の関係を掴んでおくのは今やサバイバル術だしな https://t.co/6ZAEkWXKtu— 水産品 (@sakanazensen) 2017年2月27日 予測精度による比較は広く行われていますが，計算速度やメモリ使用量による比較は見たことが無かったので，tweetで紹介されている論文"An Analysis of Deep Neural Netwo
Generalizing from simulation
Our latest robotics techniques allow robot controllers, trained entirely in simulation and deployed on physical robots, to react to unplanned changes in the environment as they solve simple tasks. That is, we’ve used these techniques to build closed-loop systems rather than open-loop ones as before. The simulator need not match the real-world in appearance or dynamics; instead, we randomize releva
GPUでディープラーニングやるならAWSよりFloydHub - Qiita
UdacityのDeep Learning Nanodegree Foundation のコースでFloydHubという便利なサービスが紹介されていました。ディープラーニングのHerokuだそうです。 GPUが使えるプランも月額14ドルからなので、手軽にGPUでディープラーニングを始めることができます。 TensorFlowとKerasがデフォルトですが、他にもPyTorchやChainerなどメジャーなフレームワークはだいたい使えるようになっています。 2017/10/18 追記 この記事を書いた直後に、KaggleのKernelについての記事が投稿されています。Kaggleのデータセットに限って言えば、Kernelを使う方が簡単そうです。 パワーアップしたKernelでKaggleに飛び込もう - Qiita FloydHubのいいところ 起動が簡単 floyd-cliというコマンドラ
ChainerのChainをもっと楽に書く
概要 Chainerのモデル定義クラスを新たに作った はじめに ChainerのChainをもう少し楽に書くの続きです。 昔書いたAdversarial AutoEncoderのコードを書きなおしていたんですが、モデル定義の部分を簡潔に書くのが難しかったので新たにモデル定義クラスを作りました。 musyoku/chainer-nn chainer.Chainのモデル定義はもともと以下のように書きます。 class Model(chainer.Chain): def __init__(self, n_in, n_hidden, n_out): super(Model, self).__init__() with self.init_scope(): self.layer1 = L.Linear(n_in, n_hidden) self.layer2 = L.Linear(n_hidden,
Theano の 基本メモ - Qiita
ブログ投稿の続きとして、スライドに書けなかったTheanoの細かい部分についてもう少しまとめておこうと思います。 まず、Theano 解説 はTheano特徴を簡潔に表現されているので、一読をオススメします。 ここでも書かれていますが、Theanoの特徴として、 実行時にCコードを生成してコンパイル GPUでの実行のサポート(要CUDA) 自動微分 などがあげられると思います。 Theanoの超簡略チュートリアル http://deeplearning.net/software/theano/tutorial/index.html#tutorial の乱暴な要約です。 まず常にImportしておく３つ この３つはお約束です。 これだけ知っておけば概ね大丈夫 以下の事柄がだいたい理解できれば、Deep Learningの実装を読んで理解したり、変更を加えたりすることができると思います。 T.
トピックモデルで単語の分散表現 - 理論編 - scouty AI LAB
こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという自然言語処理における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のために、今回はトピックモデルに関して説明します。 Pythonなどの言語ではライブラリが利用できますが、トピックモデルなどの原理を知っておくことでパラメータチューニングが思いのままにできるようになります。 LDAやトピックモデルについては最新の技術！というわけではないので他にも解説記事があると思いますが、今回は「流行りの単語がとりあえず何なのか知る」ということを目的に、前半は機械学習エンジニアではない方にもわかりやすく解説しようと思います。 モチベーション 単語をベクトルで表したい！ 自然言語データを使ったレコメンドエンジンの構築やテキストの分類などで、単語をクラスタリン
Neural Networkでの失敗経験やアンチパターンを語る - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパターンのようなものを書こうと思います。 Trouble1：学習時にNanを叩き出す。 原因1 cross-entropy誤差を使っている。 原因2 結果が小さすぎて、0と認識される。 原因3 重みがあらぬ方向へ学習する。 Trouble2：収束しない 原因1 学習率が高すぎる 原因2 学習率が低すぎる 原因3 適切な誤差関数ではない 原因4 活性化関数を誤った 原因5 そもそも入力が誤っている Trouble3：Validation Scoreが低い 原因1 過学習しているにも関わらず、気づかなかった。 原因2 与えるデータとラベルの1対
Variational Autoencoder徹底解説 - Qiita
今回はディープラーニングのモデルの一つ、Variational Autoencoder(VAE)をご紹介する記事です。ディープラーニングフレームワークとしてはChainerを使って試しています。 VAEを使うとこんな感じの画像が作れるようになります。VAEはディープラーニングによる生成モデルの１つで、訓練データを元にその特徴を捉えて訓練データセットに似たデータを生成することができます。下記はVAEによって生成されたデータをアニメーションにしたものです。詳しくは本文をご覧ください。 本記事で紹介している内容のPythonコードはコチラにあります。 1. Variational Autoencoderとは？ まず、VAEとはどんなものであるかを説明したいと思いますが、その前に通常のオートエンコーダーについて触れたいと思います。 1-1. 通常のオートエンコーダー オートエンコーダーとは、 教師
モデル圧縮 - nico-opendata
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
OpenPoseを動かしてみた。 - Qiita
目次 1.OpenPoseを動かしてみた。 2.OpenPoseチュートリアルのソースコードを読む。 3.WindowsでOpenPoseを動かしてみた。 4.OpenPoseのFace Estimationを動かしてみた。 5.OpenPoseのHand Estimationを動かしてみた。 背景 CVPR2017で発表された、DeepLearningを使った、単眼カメラでのスケルトン検出アルゴリズムが、OpenPoseという名称でライブラリ化・公開されました。 早速、Ubuntu(1404)で、OpenPoseのPose Estimationを動かしてみたので、手順を解説します。 https://github.com/CMU-Perceptual-Computing-Lab/openpose 上記画像ソースは、［ ぱくたそ（www.pakutaso.com）］様のフリー写真素材を使用し
Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷
Word2Vec というと、文字通り単語をベクトルとして表現することで単語の意味をとらえることができる手法として有名なものですが、最近だと Word2Vec を協調フィルタリングに応用する研究 (Item2Vec と呼ばれる) などもあるようで、この Word2Vec というツールは自然言語処理の分野の壁を超えて活躍しています。 実は Item2Vec を実装してみたくて Word2Vec の仕組みを理解しようとしていたのですが、Word2Vec の内部の詳細に踏み込んで解説した日本語記事を見かけることがなかったので、今更感はありますが自分の知識の整理のためにもブログに残しておきます。なお、この記事は Word2Vec のソースコードといくつかのペーパーを読んで自力で理解した内容になります。間違いが含まれている可能性もありますのでご了承ください。もし間違いを見つけた場合は指摘してもらえると
DeepMindのSonnetを触ったので、TensorFlowやKerasと比較しながら解説してみた - Qiita
DeepMindのSonnetを触ったので、TensorFlowやKerasと比較しながら解説してみた機械学習DeepLearningKerasTensorFlowSonnet はじめに GoogleのDeepMindが社内的に使っている深層学習ライブラリSonnetを公開したので、試しに触ってみました。TensorFlowやKerasと比較をしながら解説していきたいと思います。まだ触ってみたばかりで細かい内容をお話することは出来ませんが、少しでもSonnetが気になっている方の力になれれば嬉しいです。 間違ってる部分や質問などありましたらコメントして頂けると幸いです。 Excited to release #Sonnet - a library for constructing complex Neural Network models in TensorFlow. Get starte
Information Dropoutの数理とKeras実装
※ This is a Japanese version. The English version is here. Information Dropoutという手法がある。 元々は深層学習の過学習を避けるために提案されていたテクニックであるDropoutを、与えられたタスクに対する最適なデータの表現を学習するInformation Bottleneckの観点から一般化する、という内容である。 この論文は2016年11月4日にarXivに初稿がアップされ(arXiv:1611.01353)、ICLR2017に投稿されていた。 残念ながら採択はされなかったが、レビュー結果には The authors all agree that the theory presented in the paper is of high quality and is promising but the expe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
deepsurveyICML18final.pptx
SfMLearner/utils.py at master · tinghuiz/SfMLearner
CUDAなしMacで、Chainer使ってCaffeモデルをインポートして画像認識させてみる
GitHub - zhangqianhui/AdversarialNetsPapers: Awesome paper list with code about generative adversarial nets
