2017年のディープラーニング論文100選 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これはFujitsu Advent Calendar 2017の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの）から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
Intelが激安1万円以下のUSB型ディープラーニング用端末「Movidius Neural Compute Stick」を発売
IntelがUSB接続タイプのスティック型ディープニューラルネットワーク処理用アクセラレータ「Movidius Neural Compute Stick」を発表しました。画像処理やAI技術をクラウドではなくローカル環境で手軽に開発できることが期待されています。 Movidius | Intel Newsroom https://newsroom.intel.com/press-kits/movidius/ Intel Democratizes Deep Learning Application Development with Launch of Movidius Neural Compute Stick | Intel Newsroom https://newsroom.intel.com/news/intel-democratizes-deep-learning-application
【本当の初心者向け】ニューラルネットとTensorFlow入門のためのオリジナルチュートリアル１ - HELLO CYBERNETICS
はじめに TensorFlowを理解する 計算グラフに対する理解 実践的なTensorFlowの理解 写像とは？ 写像をTensorFlowのコードと合わせて見る プレースホルダーという概念 写像をメモリに乗せる メモリに載せた写像のプレースホルダーに値を与える ニューラルネットのアフィン層設計 数式おさらい コードで見る ニューラルネットの設計 2層のニューラルネットワーク 活性化関数 TensorFlow APIの活性化関数 ニューラルネットの順伝播 TensorFlowの実際 tf.InteractiveSession() 順伝播を試してみる 最後に 今回の記事に関する補足 ニューラルネットを理解するための関連記事 続きの記事 はじめに TensorFlowを本格的に活用し始めて感じていることがいくつかあります。 モジュールが異様に豊富で、どれを使えばいいか分からない プログラミング
ディープラーニングのための線形代数入門：一般的演算の初学者向けガイド | POSTD
Jeremy Howardによる ディープラーニングの素晴らしいコース を受講している間、自分の前提知識がさびついてきているせいで、誤差逆伝播法のような概念が理解しにくくなっていることを認識しました。そこで、理解度を上げるべく、そうした概念に関するいくつかのWikiページをまとめてみることにしました。本記事では、ディープラーニングでよく使われる線形代数演算のいくつかについて、ごく基本的な事項をざっとご紹介します。 線形代数とは？ ディープラーニングの文脈での線形代数とは、数の集合を同時に操作するための便利な手法を提供してくれる、数学的ツールボックスです。これらの数値を保持するためのベクトルや行列（スプレッドシート）のような構造体と、それらを加算、減算、乗算、および除算するための新しい規則を提供します。 線形代数が便利な理由 線形代数は、複雑な問題を単純で直感的に理解できる、計算効率の良い問
計算グラフの微積分：バックプロパゲーションを理解する | POSTD
はじめに バックプロパゲーションとは、ディープモデルの学習を計算可能にしてくれる重要なアルゴリズムです。最近のニューラルネットワークではバックプロパゲーション (誤差逆伝播法) を使うことで、最急降下法による学習が愚直な実装と比べて1000万倍速くなります。 例えば，バックプロパゲーションでの学習に1週間しかかからないのに対して、愚直な実装では20万年かかる計算になります。 ディープラーニングでの使用以外にも、バックプロパゲーションはさまざまな分野で使えるとても便利な計算ツールです。それぞれで呼ばれる名称は違うのですが、天気予報から、数値的安定性を分析する時にまで多岐にわたり使用できます。実際に、このアルゴリズムは、いろいろな分野で少なくとも20回は再開発されています（参照： Griewank（2010） ）。一般的な用途自体の名前は”リバースモード微分”といいます。 基本的に、この技術は
RBMから考えるDeep Learning ～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
PythonによるDeep Learningの実装（Deep Belief Nets 編） - Yusuke Sugomori's Blog
前回、前々回とそれぞれロジスティック回帰（Logistic Regression）、制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）を紹介しました。 手法の説明については、各記事を参照してください。 今回は、これら２つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。 DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが（多層のため誤差の重みが少
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(後編) | POSTD
前編はこちら： ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) 逆畳み込みネットワーク(DN) は、インバース・グラフィックス・ネットワーク（IGN）とも呼ばれていますが、畳み込みネットワークを逆転させたものになります。例えばネットワークに”猫”という言葉を入力すれば、生成した猫らしき画像と本物の猫の写真を比較しながら猫の画像を作成するよう訓練するようなイメージです。普通のCNNと同様にDNNをFFNNに組み合わせることができますが、新しい略語が見つかる時に線が描かれるところが特色です。深層逆畳み込みニューラルネットワークとでも呼べそうですが、FFNNの前後にDNNをつなげると、新しい名前をつけるにふさわしい別のアーキテクチャのネットワークができると主張できます。実際にはほとんどのアプリケーションにおいて、ネットワークにテキストに似たものが
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) | POSTD
新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの
DeepLearning 2017年の10の予測 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 翻訳元ブログ(2016/12/12) by Carlos E. Perez https://www.linkedin.com/pulse/10-deep-learning-trends-predictions-for2017-carlos-e-perez 私は以前このブログで『ソフトウェア開発における2011年の動向予測』を投稿しましたが、今回は少し違う観点でディープラーニングについての10の予測をしましょう。企業が採用する技術という観点ではなく、研究動向と今後の予測にスポットを当てることにします。ディープラーニングによって企業へのAI
2016年のディープラーニング論文100選 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これはFujitsu Advent Calendar 2016の11日目の記事です。 掲載内容は個人の意見・見解であり、富士通グループを代表するものではありません。なお、内容の正確性には注意を払っていますが無保証です。 はじめに この記事では先月今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2016年開催またはジャーナル掲載が2016年のもの）から私が個人的に重要だと思った論文を収集しています。また、2015年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2017年の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3