ディープラーニングにおける学習のコツとハイパーパラメータのガイドライン
はじめに 今流行りのディープラーニング(深層学習)ですが、いざ自分でやってみると思ったように精度が出なかったり、重みの初期化や学習率をどのように選択したらよいのか、といったことで戸惑うことがよくあります。 重みの初期化や学習率といった、ニューラルネットではなく人間が選択しなければいけないパラメータをハイパーパラメータ(Hyperparameter)と呼びます。逆に言えば、ハイパーパラメータとは学習アルゴリズムによって決定できず、ヒューリスティックな部分でもあります。 ハイパーパラメータは試行錯誤で決定していくのが基本ですが(もちろん自動化技術もあります)、50年以上の歴史があるニューラルネットには知恵やテクニックが多くの先人によって培われてきました。そして、今もなお研究が盛んに行われている分野でもあります。 あとで参照しやすいように本記事では、ハイパーパラメータの指南をまとめてみました。
Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations
Deep convolutional neural network (CNN) inference requires significant amount of memory and computation, which limits its deployment on embedded devices. To alleviate these problems to some extent, prior research utilize low precision fixed-point numbers to represent the CNN weights and activations. However, the minimum required data precision of fixed-point weights varies across different network
Evolving Deep Neural Networks
The success of deep learning depends on finding an architecture to fit the task. As deep learning has scaled up to more challenging tasks, the architectures have become difficult to design by hand. This paper proposes an automated method, CoDeepNEAT, for optimizing deep learning architectures through evolution. By extending existing neuroevolution methods to topology, components, and hyperparamete
フェイスブックの AI研究所が考える マシン・ビジョンの未来
Facebook’s AI Chief: Machines Could Learn Common Sense from Video フェイスブックの AI研究所が考える マシン・ビジョンの未来 フェイスブックAI研究所のヤン・ルクン所長（ニューヨーク大学教授）が、マシン・ビジョンの現状と人工知能の未来について語った。映像を見るだけで世界について学び、コモンセンス（常識）を身につけることで、言語という低帯域のデータ伝送手段を人間なみに補えると考えている。 by Tom Simonite2017.03.09 71 14 7 0 5年前、画像読み取りソフトウェアの精度を高める点で、研究者は突如飛躍的な進化を成し遂げた。背後にあるテクノロジー「人工ニューラル・ネットワーク」が最近の人工知能開発の急激な盛り上がりを支えている（“10 Breakthrough Technologies 2013: D
Deep Learning Reinvents the Hearing Aid
My mother began to lose her hearing while I was away at college. I would return home to share what I’d learned, and she would lean in to hear. Soon it became difficult for her to hold a conversation if more than one person spoke at a time. Now, even with a hearing aid, she struggles to distinguish the sounds of each voice. When my family visits for dinner, she still pleads with us to speak in turn
Deep neural network の 「蒸留」 に ついて 〜 学習済み深層NNモデル の 入出力 を 教師として、計算負荷の軽い 軽量NN を 構築するアプローチ - Qiita
調査のまとめメモ （ 論文 ） Gregor Urban et.al, Do Deep Convolutional Nets Really Need to be Deep (Or Even Convolutional) ? Geoffrey Hinton et.al, Distilling the Knowledge in a Neural Network （ 解説記事 ） Elix Tech Blog (Jul 17, 2016) 「Kerasで学ぶAutoencoder」 Convolutional Autoencoder Urban et al. 2016では、深さや畳み込みが本当に重要かどうかを実験により検証しています。 この研究では、蒸留（distillation）という手法を使って学習させています。本題からどんどんそれていく気もしますが、面白い手法ですので蒸留について簡単に説明
BigQuery and Cloud Machine Learning: advancing neural network predictions (Google Cloud Next '17)
The real value of BigQuery is not its speed. It's the power of "democratizing enterprise data." Because of BigQuery's scalability, you can isolate any workload on BigQuery from others. That means you can let non-engineers, such as sales, marketing, support and others, execute arbitrary quick-and-dirty SQL on BigQuery directly. Any employees in your enterprise can access its big data and quickly do
Apache MXNet
1.9.1 master 1.9.1 1.8.0 1.7.0 1.6.0 1.5.0 1.4.1 1.3.1 1.2.1 1.1.0 1.0.0 0.12.1 0.11.0
try! Swift Tokyo 2017 に参加した&リンク集 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 3月2日から3月4日にかけて、try! Swift Tokyo 2017というSwiftの技術カンファレンスが開催されました。 タイミング的な問題で個人でチケットを買ったのですが、会社の業務として参加してきました。 https://www.tryswift.co/tokyo/jp Swiftも昨年9月13日にバージョン3.0がリリースされどんどん改善が進んでいます。Swift Programming Language Evolution 多くのiOS開発者がSwift 2.3からマイグレーションを行う必要がありましたが、 今までのObj
GitHub - google/sentencepiece: Unsupervised text tokenizer for Neural Network-based text generation.
SentencePiece is an unsupervised text tokenizer and detokenizer mainly for Neural Network-based text generation systems where the vocabulary size is predetermined prior to the neural model training. SentencePiece implements subword units (e.g., byte-pair-encoding (BPE) [Sennrich et al.]) and unigram language model [Kudo.]) with the extension of direct training from raw sentences. SentencePiece all
【デブサミ2017】大賞はあの本！ 「ITエンジニアに読んでほしい！ 技術書・ビジネス書大賞 2017」
翔泳社が毎年開催している「ITエンジニアに読んでほしい！ 技術書・ビジネス書大賞 2017」は、エンジニアが世の中を変えるために役立つ本を紹介し広めるために2014年に始まった。 今年で4回目となる同賞も事前の一般Web投票にて技術書部門、ビジネス書部門それぞれベスト10を選出。各部門で得票数の多かった上位3タイトルの著者や編集者が集い、「Developers Summit 2017」のセッションの一つとして本の魅力を伝えるプレゼン大会を開催。 盛況となった会場で最終投票が行われ、下記の2部門6タイトルから特別賞と大賞が決定した。 技術書部門トップ3 『ゼロから作るDeep Learning――Pythonで学ぶディープラーニングの理論と実装』（2016年、オライリー・ジャパン） 斎藤康毅 『暗号技術入門 第3版 秘密の国のアリス』（2015年、SBクリエイティブ） 結城浩 『新装版 達人
try! Swift Tokyo 2017で「クライアントサイド・ディープラーニング」というLTをしました #tryswiftconf - その後のその後
先週開催された "try! Swift Tokyo 2017" にて、"Client-Side Deep Learning" というタイトルでLTしました。発表資料はこちら。 Client-Side Deep Learning from Shuichi Tsutsumi ディープラーニングは強力なコンピューティングパワーが必要なので、従来はモバイルデバイスでやるものではなかったのですが、iOS 10でMetal Performance Shadersフレームワークに追加された新たしいAPIにより、クライアントサイドのGPUで学習済みCNNの計算を行えるようになったという話です。 その話前もしてたんじゃ・・・と思われるかもしれませんが、今回は自分でモデル作成からアプリ実装まで一通りやってみた上で話をしていたので、僕の中では大違いでした。まぁ、5分のLTなのでそこで得た知見や具体的な実装につい
How to visualize a neural network
I want to draw a dynamic picture for a neural network to watch the weights changed and the activation of neurons during learning. How could I simulate the process in Python? More precisely, if the network shape is: [1000, 300, 50], then I wish to draw a three layer NN which contains 1000, 300 and 50 neurons respectively. Further, I hope the picture could reflect the saturation of neurons on each l
【取材済】AI、機械学習に強いPythonプログラミングスクールおすすめ6選を徹底比較！｜IT Edtechプログロボ
なぜAI・人工知能を学ぶのにPythonのプログラミングスクールなのか？Pythonは、AIのベースとなる機械学習やデータサイエンスのライブラリが充実したプログラミング言語で、しかも学習しやすいという特徴があります。 そのため、Pythonを学びたい、という人のほとんどが、 AIに関わりたい、 機械学習で業務を効率化したい、 データ分析を有効に実施したい という希望を持っています。 AI関連市場は2030年に87兆円以上が見込まれる成長市場Ernst & Youngの研究所が2015年に出したレポートによると、2030年に87兆円以上の市場になることが見込まれています。E&Yは世界の4大コンサルティングファームの1角です。現在の世界の動きを見ても、AIを中心にどんどんビジネスが拡大し、より注目度があがっているのがわかります。 そのうち、AIの活用はパソコンを使うのと同じくらい当たり前になっ
DeNA TechCon 2017 開催レポート【2】 | BLOG - DeNA Engineering
こんにちは。ゲーム事業本部開発基盤部の池田です。 去る2月10日、DeNAは技術カンファレンス「DeNA TechCon2017」を開催しました。 公開可能な資料については、 公式サイトのスケジュール画面 からリンクしておりますので、まだチェックしていないという方は是非ご覧ください。 追って、各セッションの動画もアップ予定です。 本記事は、この「DeNA TechCon2017」振り返り記事の第2弾となります。 今回は特に、DeNAの新たなチャレンジ領域である AI 分野について、Aステージで筆者が聴講した以下の3講演について取り上げます: 基調講演:「実世界の人工知能」株式会社Preferred Networks岡野原大輔様 スライド資料 「強化学習を利用した自律型GameAIの取り組み〜高速自動プレイによるステージ設計支援〜」MASHIKO RYOSUKE, SEKIYA EIJI ス
Depth Creates No Bad Local Minima
In deep learning, \textit{depth}, as well as \textit{nonlinearity}, create non-convex loss surfaces. Then, does depth alone create bad local minima? In this paper, we prove that without nonlinearity, depth alone does not create bad local minima, although it induces non-convex loss surface. Using this insight, we greatly simplify a recently proposed proof to show that all of the local minima of fee
NTTコムウェア | 「Deep Learning画像認識プラットフォーム」を3月1日より販売開始～「監視・検閲」「保全・点検」「製品検査」の分野におけるAI利用を促進～
エヌ・ティ・ティ・コムウェア株式会社は、2025年7月1日に「NTTドコモソリューションズ株式会社」へ社名を変更いたしました。 2017.02.28 「Deep Learning画像認識プラットフォーム」を3月1日より販売開始 ～「監視・検閲」「保全・点検」「製品検査」の分野におけるAI利用を促進～ エヌ・ティ・ティ・コムウェア株式会社（本社：東京都港区、代表取締役社長：海野 忍、以下 NTTコムウェア）はDeep Learning（深層学習）技術を活用した画像認識プラットフォームを2017年3月1日（水）より販売開始します。このプラットフォームにより「監視・検閲」「保全・点検」「製品検査」の分野におけるAI利用を促進していきます。 【背景】 様々な業態において、業務遂行に専門家の「目」が必要とされています。例えばインターネットサイト上の不適切なコンテンツの排除のため、監視カメラの映像から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - lpigou/Theano-3D-ConvNet: 3D convolutional neural network using Theano. A CNN for video; a spatio-temporal classifier.
http://www.nlab.ci.i.u-tokyo.ac.jp/pdf/psivt2015.pdf
Stanford University: Tensorflow for Deep Learning Research