連休中に「ディープラーニングの数学」と「身近な数学」と「Google Colaboratory（Python）」でじっくり数学を復習しました - karaage. [からあげ]
「最短コースでわかる ディープラーニングの数学」「身近な数学」を読む GW（ゴールデンウィーク）中は日経BPさんから献本いただいた「最短コースでわかる ディープラーニングの数学」（以降ディープラーニングの数学）と、ほけきよ（id:imslotter）さんから献本いただいた「身近な数学」と数学と名のつく本2冊をじっくり読みました。 全然違う繋がりで献本いただいた両本ですが、奇しくも同じ「数学」というキーワードがタイトルにあるということで、大胆にもまとめて書評を書いてみたいと思います（笑） また、両者とも付録として、内容の理解を深めるためのPythonコードがGitHubで公開されているのですが「Google Colaboratory」（以降Google Colab）を使うことで、Python環境を構築することなく、手軽にコードを実行できることが分かったので、その活用方法も合わせて紹介しようと
![連休中に「ディープラーニングの数学」と「身近な数学」と「Google Colaboratory（Python）」でじっくり数学を復習しました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c475d820dde150ea8d05f9e77fa037b28b948370/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F29c9dad9f58e256ce20e6a661b40db45ad489f59%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20190416%252F20190416010937.jpg)
ディープラーニングは最低限の数学で分かる
作っている雑誌で、これまで何度も取り上げてきた人工知能（AI）。中でも中核と言える「ディープラーニング」を、先日、数学的にちゃんと理解できて感動した、という話である。 今更と思われた読者もいるかもしれないが、数式を追って結論にたどり着いたとき、思わず「おお、分かった！」と声を上げてしまった。基本が分かると、関連する技術も結構すらすら理解できるようになって少々驚いている。 筆者は、PC用LinuxやPCボード「Raspberry Pi（ラズパイ）」を主題とするホビー向けの雑誌を作っている。AIは既に身近な存在になり、フリーソフトで顔認識をしたり、便利なAIフレームワークを使えば数行のPythonプログラムで機械学習ができたりする。そんな記事をもう数十本は企画して、執筆してもらってきた。 しかし、機械学習やディープラーニングの仕組みを自分で理解していたかというと、「何となくは」としか言えなかっ
SSDで道路の損傷を検出した - Qiita
結果 図3に学習の経過を示します． 図上部が位置誤差(location loss)とクラス分類誤差(confidence loss)，そしてその合計(overall)を表しています． 図下部はvalidationデータサンプルに対するクラスごとのAverage Precision (AP)と，全クラスに対するmean Average Precision (mAP)です． 図3 SSD(VGG16)での学習経過 Exponential shiftによりlearning rateが小さくなった点(80000 iteration)において，lossが一気に下がっているのがわかります．100000 iteration以降は精度も飽和しています． 最終的なmAPは0.561を記録しました． デフォルトのパラメータで学習した割には安定して精度が出たので，これをベースラインとしてアーキテクチャを変更し，
これから強化学習を勉強する人のための「強化学習アルゴリズム・マップ」と、実装例まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 これから強化学習を勉強したい人に向けて、「どんなアルゴリズムがあるのか」、「どの順番で勉強すれば良いのか」を示した強化学習アルゴリズムの「学習マップ」を作成しました。 さらに、各手法を実際にどう実装すれば良いのかを、簡単な例題を対象に実装しました。 本記事では、ひとつずつ解説します。 オレンジ枠の手法は、実装例を紹介します。 ※今回マップを作るに
論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみました (3)：学習方法編 - Fixstars Tech Blog /proc/cpuinfo
Fixstars Tech Blog /proc/cpuinfo » 未分類 » 論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみました (3)：学習方法編 速度 学習速度 3万枚の画像を50 epoch学習するのにTitan X GPU 1基で約25時間 推論速度 512×256画像で35ms未満 (28 FPS以上) (GPU-CPU間のデータ転送時間込み) ハイパーパラメータなど パラメータ数 31 million (ResNetの場合、48 million) ハイパーパラメータ \(\alpha_{ap} = 1\), \(\alpha_{lr} = 1\) 前投稿の通り、マルチスケール(4スケール)の視差マップを出力します。 出力される視差は、 \(d_{max}=0.3 \t
Linear algebra cheat sheet for deep learning
During Jeremy Howard’s excellent deep learning course I realized I was a little rusty on the prerequisites and my fuzziness was impacting my ability to understand concepts like backpropagation. I decided to put together a few wiki pages on these topics to improve my understanding. Here is a very basic intro to some of the more common linear algebra operations used in deep learning. NEW: check out
GitHub - nejumi/kaggle_memo
まずは、素うどんのXGBoostにかけて、plot_importance, feature_importances_を確認する。しかる後に、各特徴量をF-SCOREの高い順にExploratory Data Analysis (EDA)を行い、データに対する感覚を掴む。特徴量の数が少ないのであれば、初めからEDA。 情報を含まないcolumnsを除く。[Kaggle Kernel: R, Python] 標準偏差が0の説明変数 (constant cols) を除く。 重複した説明変数 (duplicated cols) を1つだけ残して他を除く。 相関係数が1である説明変数の組 (perfectly correlated cols) を探し、1つだけ残して他を除く。 各列について、値が0である説明変数の数を数えて、合計値を追加の説明変数として加える (count 0 per row)。逆
RNNで「てにをは」を校正する - にほんごのれんしゅう
RNNで「てにをは」を校正する 余談 2017/3/19に、どの深層学習フレームワークがこれから深層学習を始める人におすすめなのかというアンケートをtwitterで取らせていただきました。 五位 Theano(個別カウント) はじめに RNNによる文章校正がリクルートによって提案されて以来、調査タスクとして私のものとに来たりして、「できるんでしょう？」とか軽く言われるけど、実際には簡単にはできません。 RNNによる文章生成ができるから、校正もできるというのが人間の自然な発想なのかもしれませんが、英語と日本語の違いに着目した場合、英語がアルファベットのみで構築されるのに比べて日本語は、漢字・ひらがな・カタカナと非常に多く、同じように問題を適応すると、すごい高次元の問題を解くこととなり、理想的なパフォーマンスになかなかなりません。 まぁ、あんまり完成してるわけでない技術を完成したようにプレスリ
Deep Learning with FPGA – Amund Tveit's Blog
This chapter presents recent papers for using FPGAs (Field Programmable Gate Arrays) for Deep Learning. FPGAs can roughly be seen as a Software-configurable Hardware, i.e you in some cases get close to dedicated hardware speed (although typically at lower clock frequency than chips, but typically with strong on-FPGA parallelism), this can be a potential good fit for e.g. Convolutional Neural Netwo
外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事について DeepMind が Nature に投稿した論文 Hybrid computing using a neural network with dynamic external memory で使用されている "Differentiable Neural Computing (DNC)" について解説します。ロジックの説明がメインですが、Python - Chainer による実装例も紹介します。 Differentiable Neural Computing (DNC)とは sequential data を Neur
（ 事例調査 ）トポロジー・ 微分幾何学・ 情報幾何学 の 高み から、（深層）ニューラル・ネットワークモデル の 情報処理過程 を 可視化し、学習速度 を 早める 視座 の 有効性 を 考える - Qiita
（ 事例調査 ）トポロジー・ 微分幾何学・ 情報幾何学 の 高み から、（深層）ニューラル・ネットワークモデル の 情報処理過程 を 可視化し、学習速度 を 早める 視座 の 有効性 を 考える人工知能深層学習DeepLearning情報幾何学InformationGeometry （深層）ニューラル・ネットワークモデル を 改良して、 局所最適解への陥落 を 防ぎ、 なるべく短い学習回数で、全体最適解 に 到達する より良い (Deep) neural networkモデル を 見い出す 上 で、 【 情報幾何学（微分幾何学）の 見地 】 （１）誤差逆伝播（BP）法 の パラメータ更新式 を Riemann空間で組成し、 （２）フィッシャー行列 で 表現される Riemann計量 を 用いる 方法 及び 【 位相幾何学 の 見地 】 （１）(Deep) neural network モデ
高次元ベクトルデータ検索技術「NGT」の性能と使い方の紹介
この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。
メモリを操作するRNNでソートアルゴリズム（可変長＆順序フラグあり）を機械学習できたよっ！ - Qiita
微分可能な神経機械？ Google DeepMindがNatureに投稿した論文「Hybrid computing using a neural network with dynamic external memory」が、なんだかヤバそうな香りがします。 公式の紹介記事「Differentiable neural computers」では、プラトンの記憶論から話が始まりますし、論文では脳の記憶を司る海馬に喩えていたりして、なかなか格調高いです。単なるニューラルネットワークの性能改善に留まらず、哲学や神経科学の観点からも理想の人工知能に一歩近づくことができたよ、これは新しいコンピュータの在り方の発明なのではないか、という気概が感じられます。 仕組みとしては流行りのAttentionという概念が入っていて、メモリを表す行列と、それを選択的に操作しながらベクトルを入出力するコントローラがありま
講義まとめ：自然言語処理のための深層学習（CS224d） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? CS224d(自然言語処理のための深層学習)はスタンフォード大のRichard Socherが2015年から教えている講義で、動画やスライドなどの講義資料と演習問題がウェブ上で無料で公開されています。 [CS224d: Deep Learning for Natural Language Processing] (http://cs224d.stanford.edu/) 会社の勉強会で週1回半年程度かけて講義動画と演習を終えたため、勉強したことを簡単にまとめてみたいと思います。 なぜ今なのか？ 深層学習（Deep Learning）は2
深層強化学習：ピクセルから『ポン』 – 後編 | POSTD
前編はこちら： 深層強化学習：ピクセルから『ポン』 – 前編 起こっていないこと さて、方策勾配を使って生のピクセルから『ポン』をプレイする方法を学びましたが、ご理解いただけましたね。この手法は推測してチェックするという手間のかかるやり方で、”推測”は最新の方策からロールアウトをサンプリングすることを意味し、”チェック”は良い結果を導くアクションを促すこと意味します。大枠では、これは強化学習の問題への最先端のアプローチです。このような振る舞いを学習できるということは感動的です。しかしあなたが直感的にアルゴリズムを理解していて、どのように機能するか知っているとしたら、少しがっかりしてしまうのではないでしょうか。具体的に、機能しないのはどういうところでしょうか。 これと比較して、人間は『ポン』のプレイ方法をどのように学習するでしょうか。おそらくあなたはゲームを見せ、次のように言います。「パドル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeepLearningによるアイドル顔識別を支える技術 / 2017-08-04 builderscon tokyo
GitHub - rlcode/reinforcement-learning: Minimal and Clean Reinforcement Learning Examples
http://www.h5con.cn/endymecy/awesome-deeplearning-resources
Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
GitHub - tqchen/tinyflow: Tutorial code on how to build your own Deep Learning System in 2k Lines
