[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita
1. はじめに 前回に引き続きPyTorchを用いたarXiv実装の2回目になります。今回紹介する論文はVISUALIZING THE LOSS LANDSCAPE OF NEURAL NETSになります。 扱う内容は前回と同じニューラルネットの可視化です。ただし前回は中間層の可視化でしたが、今回は出力層の可視化です。本論文ではディープラーニングのロス関数を可視化する手法を提案しています。 ディープラーニングの学習においては、SGDやAdaGradなどのアルゴリズムを用いてロス関数を最小とするパラメータの探索を行います。凸関数は局所最適化を繰り返すことで大域的最適解が得られますが、非凸関数ではその保障はありません（参照ページ）。そしてディープラーニングのロス関数は一般に凸関数とは限らないため、学習により適切なパラメータが求まる保障はありません。 しかし、適切なバッチサイズ・フィルタサイズを
![[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/26da7c5e5b4148328e45f21a91228dcc25186dde/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU1JUFFJTlGJUU4JUEzJTg1XyVFMyU4MSU5RCVFMyU4MSVBRTIlNUQlMjAlRTMlODMlODclRTMlODIlQTMlRTMlODMlQkMlRTMlODMlOTclRTMlODMlQTklRTMlODMlQkMlRTMlODMlOEIlRTMlODMlQjMlRTMlODIlQjAlRTMlODElQUUlRTMlODMlOEQlRTMlODMlODMlRTMlODMlODglRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlRTMlODMlQTIlRTMlODMlODclRTMlODMlQUIlRTMlODIlOTIzJUU2JUFDJUExJUU1JTg1JTgzJUUzJTgxJUE3JUU1JThGJUFGJUU4JUE2JTk2JUU1JThDJTk2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMWJhYjBjYTk5MzEyMWQwMjA3NjY3YjBmMTRjOTQ0MA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwb2tuLXl1JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xOTNhYTUyZjM2M2YyODE5MWJlNzY0NWVlMjE5YTYxNQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7ee8857f7711c58f74c421bbf2d580a6)
Private Presentation
Private content!This content has been marked as private by the uploader.
Deep Learning for NLP Best Practices
Deep Learning for NLP Best Practices Neural networks are widely used in NLP, but many details such as task or domain-specific considerations are left to the practitioner. This post collects best practices that are relevant for most tasks in NLP. This post gives an overview of best practices relevant for most tasks in natural language processing. Update July 26, 2017: For additional context, the Ha
Inside of Deep Learning （ディープラーニングの性能改善手法 一覧） - Qiita
このポストは Inside of Deep Learning あるいは深層学習は何を変えるのか から分割したものです。全体があまりに長くなってしまったので、改善手法についても別のページにしました。 DL（ディープラーニング）の性能を改善していくポイントを駆け足で見て行きましょう。 学習データの追加、改善 DLシステムの性能を上げるためにはためにはより沢山の学習データが必要と言われています。例えば下記の図は、顔のパーツやバスの認識について学習データを増やすほど性能が上がるとした論文のものです。 Do We Need More Training Data? 画像であれば左右、上下、および上下左右に反転させた画像を使ってどちらを向いていても正しく特徴を取れるようにしたり、あるいは少し拡大したりノイズを混ぜるなどしてデータを水増しする手法がよく使われます。ユニークなのは例えばCGを用いて画像を作成
ディープラーニング実践入門 〜 Kerasライブラリで画像認識をはじめよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
ディープラーニング実践入門 ～ Kerasライブラリで画像認識をはじめよう！ ディープラーニング（深層学習）に興味あるけど「なかなか時間がなくて」という方のために、コードを動かしながら、さくっと試して感触をつかんでもらえるように、解説します。 はじめまして。宮本優一と申します。 最近なにかと話題の多いディープラーニング（深層学習、deep learning）。エンジニアHubの読者の方でも、興味ある人は多いのではないでしょうか。 しかし、ディープラーニングについて周りのエンジニアに聞いてみると、 「なんか難しそう」 「なかなか時間がなくて、どこから始めれば良いかも分からない」 「一回試してみたんだけど、初心者向けチュートリアル（MNISTなど）を動かして挫折しちゃったんだよね」 という声が聞こえてきます。 そこで！ この記事では、そうした方を対象に、ディープラーニングをさくっと試して感触を
機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - ABEJA Tech Blog
はじめまして。ABEJAでResearcherをやらせていただいている白川です。 先日、化合物の物性推定をDeep Learningをつかって従来手法より300,000倍高速に処理するという論文がでました（[1], [2]）。この論文の手法は、Graph Convolutionというグラフ上に定義されたConvolution演算がベースとなっています。物性推定に限らず、グラフ解析全般を Deep Learning で上手にこなせるようになれば、Deep Learningのアプリケーションの幅がぐっと拡がり、さらなるイノベーションが起きそうな予感がします。 ICMLやNIPSなどの機械学習系の主要国際会議でも数年前からGraph Convolutionについての論文がちらほら出現しはじめており、とくに最近その勢いが増してきている印象があります。個人的にも最近（前から？）にわかにグラフづいてい
誤差逆伝播法を計算グラフを使って分かりやすく解説する
誤差逆伝播法とパラメータ 計算グラフ 偏微分の計算 計算グラフ上での偏微分の計算 TensorFlowで実際に計算してみる まとめ 参考 誤差逆伝播法（Backpropagation）は、ニューラルネットワークの基本アルゴリズムです。 本質的な仕組みを理解していると、ディープラーニングがどのように動作しているのかのイメージを掴むことができます。 つまり、誤差逆伝播法の仕組みを知ることは、ニューラルネットワークの開発やデバッグ・設計において重要な役割を果たすのです。 にも関わらず、解説を読むと、突然偏微分を含む数式が出てきたりするので、難解なイメージを持つ方が多いのではないでしょうか。 本記事は、誤差逆伝播法を計算グラフと具体的な例を示しながら、噛み砕いて解き明かそうとする試みになります。 おそらく、あなたが誤差逆伝播法を理解する手助けになるはずです。 誤差逆伝播法とパラメータ 誤差逆伝播法
Hisa Andoのディープラーニング挑戦記(1) NVIDIAのDeep Learning Instituteを体験してみた
基礎講座を担当したNVIDIAのCUDA & Deep Learning Solution Architectの村上真奈氏 2017年1月17日に開催されたNVIDIAの「Deep Learning Institute 2017」では、ディープラーニング(深層学習)の基礎講座と実際にNVIDIAのディープラーニング開発ツールである「DIGITS」を使うハンズオントレーニングセッションが行われた。 ニューラルネットワークの基礎 ディープラーニングの基礎講座は、「これから始める人の為の」というもので、NVIDIAディープラーニング部の村上真奈氏がディープラーニングの基本的な考え方や用語などを解説した。 まず、ディープラーニングの位置づけであるが、ディープラーニングは機械学習の1つの方法で、それもニューラルネットワークを使う機械学習の1つのやり方ということになる。
Deep Learning環境はKeras + Docker + Jupyter Notebook + GPUがいいカンジ - もょもとの技術ノート
はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門～畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju
ゼロから作るDeep Learning
ディープラーニングの本格的な入門書。外部のライブラリに頼らずに、Python 3によってゼロからディープラーニングを作ることで、ディープラーニングの原理を楽しく学びます。ディープラーニングやニューラルネットワークの基礎だけでなく、誤差逆伝播法や畳み込みニューラルネットワークなども実装レベルで理解できます。ハイパーパラメータの決め方や重みの初期値といった実践的なテクニック、Batch NormalizationやDropout、Adamといった最近のトレンド、自動運転や画像生成、強化学習などの応用例、さらには、なぜディープラーニングは優れているのか？ なぜ層を深くすると認識精度がよくなるのか？ といった“Why”に関する問題も取り上げます。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正
ディープラーニングがもたらす横方向の格差拡大 - アンカテ
グーグルのAlphaGOという囲碁ソフトがトッププロに2連勝したことで、衝撃が走っている。 私は、囲碁については何も知らないし、ディープラーニングなどのAIの技術についても野次馬的に見ているだけだが、いくつか思うことがあるので書いてみる。 AIは人間を上回るのか？ 私は、AIについては単なる野次馬だが、年季が入った野次馬である。80年代から結構その手の本は読んできた。今となっては、書いてあったことはほとんど覚えていないが、ひとつだけ印象に残っているのは、昔の研究者がやたら強気だったことだ。 「2001年宇宙の旅」には、HAL9000というAIだけではなくて、iPadのようなものも出てくる。あれは本当にiPadによく似ていて、年代はずれてしまったが未来予測としてはよくできていると思う。それなのになぜAIだけやたら先走っていて、実際よりずっと賢いものになってしまったのかといえば、おそらく取材し
ディープラーニングの最新動向
NVIDIA Deep Learning Dayでの講演内容です． ディープラーニングの最新の研究成果として強化学習によるロボットカーの制御，バラ積みロボットの認識，駐車場の検出，センサデータからの異常検知，画像生成を紹介しています。
2016年はどうなる？：ロボット、人工知能、Deep Learning、IoT、ドローン、ゲーム開発、Windows 10――2015年注目だった開発者／プログラマー向け記事まとめ (1/3) - ＠IT
ロボット、人工知能、Deep Learning、IoT、ドローン、ゲーム開発、Windows 10――2015年注目だった開発者／プログラマー向け記事まとめ：2016年はどうなる？（1/3 ページ） 2015年も、開発者／プログラマー向けの話題がたくさんありました。本稿では、今年の大きなトピックを振り返りつつ、参考にしていただきたい記事をピックアップしますので、年末年始にでも読んでみてください。 早いもので今年ももう終わりですね。2015年も、開発者／プログラマー向けの話題がたくさんありました。ロボット、人工知能、Deep Learning、IoT、ドローン、Windows 10など一見、ITシステムを作る開発者には関係なさそうに見えますが、今後はこれらを活用したサービスやシステムを開発することも珍しくなくなるのではないでしょうか。 本稿では、今年の大きなトピックを振り返りつつ、参考にして
Deep Learningの教材 - こんな夢を見た
Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。 無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。 (追記) ときどき追記/編集していきます。 (以下、一部敬称略) Bengio オンライン本 Yoshua Bengio, Ian Goodfellow and Aaron Courville http://www.iro.umontreal.ca/~bengioy/dlbook/version-07-08-2015/dlbook.html 現在Web上で閲覧可能。 いつか出版される。終盤はまだ執筆中。 これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。 Nielsen オン
Caffeで画像解析を始めるための基礎知識とインストール、基本的な使い方
連載目次 最近注目を浴びることが多くなった「Deep Learning（ディープラーニング）」と、それを用いた画像に関する施策周りの実装・事例について、リクルートグループにおける実際の開発経験を基に解説していく本連載。前回の「ニューラルネットワーク、Deep Learning、Convolutional Neural Netの基礎知識と活用例、主なDeep Learningフレームワーク6選」では、ニューラルネットワーク、Deep Learning、Convolutional Neural Netの基礎知識と活用例、主なDeep Learningフレームワークを紹介しました。今回は、リクルートグループで画像解析において積極的に利用しているフレームワーク「Caffe」を中心にDeep Learningを利用した画像解析について解説します。 最初に、画像解析で実施している「物体認識」の概要を紹
Deep Learningの気持ちになって考えてみる - kivantium活動日記
前回の記事で友利奈緒判定botを作ったのを紹介したところ、いろんな人から試してもらうことができました。集計したところ正解率としては90%程度を出していました。 この前集計した時の混同行列はこんな感じでした。最近投稿数が増えすぎて集計したくないです……。 しかし、第4世代のネットワークになっても「さすがにこれはないだろう」というような間違いを続けています。 .@dolicas_ 友利奈緒です(72%) pic.twitter.com/U9l93GVgIS— まほろ（稼働中） (@mitra_sun22) 2015, 9月 5 .@DEGwer3456 友利奈緒です(99%) pic.twitter.com/8Yum498g4E— まほろ（稼働中） (@mitra_sun22) September 6, 2015 Deep Learningは性能がいいということで最近もてはやされていますが、こ
ディープラーニングとは何なのか？ そのイメージをつかんでみる
今や毎日のように人工知能に関するニュースが飛び込んできますが、その中でも特に注目を集めているのが“ディープラーニング”です。 研究開発を進める企業として最も有名な例はGoogleでしょうか。最近もGoogleがディープラーニングによる画像認識を体験できるWebインタフェースを公開し、話題を集めました。（参照リンク） では、ディープラーニングとは一体何なのでしょうか。本稿ではこのディープラーニングについて、そのイメージをつかむことに重点を置いて説明していきたいと思います。 人間の神経構造を模したニューラルネットワークの発展版 ディープラーニングの考えのもととなっているニューラルネットワークは、人間の脳神経回路を真似することによってデータを分類しようというアイデアに基づくアルゴリズムです。 人間の脳はニューロン（神経細胞）のネットワークで構成されていて、あるニューロンはほかのニューロンとつなが
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep Learningを用いた画像から説明文の自動生成の最新研究を調査したものを公開いたします。 数式の説明などかなり簡略したものですが、全体が俯瞰できるように工夫しましたので、何かのご参考になればと幸いです。 また、何か間違いがございましたら、ご指摘のほどよろしくお願いします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning
PythonによるDeep Learningの実装（Stacked Denoising Autoencoders 編） - Yusuke Sugomori's Blog
