GitHub - pauli-space/foundations_for_deep_learning: Building a scalable foundation for deep learning
README.md foundations for deep learning: I emphasize mathematical/conceptual foundations because implementations of ideas(ex. Torch, Tensorflow) will keep evolving but the underlying theory must be sound. Anybody with an interest in deep learning can and should try to understand why things work. I include neuroscience as a useful conceptual foundation for two reasons. First, it may provide inspira
One Model To Learn Them All
Deep learning yields great results across many fields, from speech recognition, image classification, to translation. But for each problem, getting a deep model to work well involves research into the architecture and a long period of tuning. We present a single model that yields good results on a number of problems spanning multiple domains. In particular, this single model is trained concurrentl
投票: ディープニューラルネット確率的プログラミングライブラリEdward | PyCon JP 2017 in TOKYO
ディープニューラルネットで計算を行う，スケーラブルな確率的プログラミングライブラリEdwardの画期的な意義と使い方を本トークで紹介します．EdwardはTensorFlowの上に確率変数とベイズ推定を実装したPythonライブラリです．計算において確率的な情報を常に保持する確率的プログラミングライブラリですので，確率事象であるこの世の現象を合理的かつうまく計算することができます． 深層学習の怒濤の発展が続いています．2012年の世界的な画像認識コンペILSVRCにて，当時の最先端の機械学習アルゴリズムを押さえて圧倒的な性能を披露したあと，2015年には人間の認識性能をも凌駕する性能を発揮するようになっています．また2016年，2017年には囲碁のトップ棋士との対決，さらには将棋の名人との対決で圧倒的な勝利を収めました． 2012年以降，深層学習の分野に世界中の優秀な才能が殺到し，さらには
活性化関数のまとめ（ステップ、シグモイド、ReLU、ソフトマックス、恒等関数） - Qiita
[参考]ゼロから作るDeep Learning 活性化関数とは 活性化関数は、入力信号の総和がどのように活性化するかを決定する役割を持ちます。これは、次の層に渡す値を整えるような役割をします。 一般的に、 「単純パーセプトロン」の活性化関数では、「ステップ関数」などが使われ、 「多層パーセプトロン（ニューラルネットワーク）」の活性化関数では、「シグモイド関数、ソフトマックス関数」や恒等関数が使われます。 また、これら「ステップ関数、シグモイド関数、ソフトマックス関数」を非線形関数と呼ぶのに対し、「y=cx」のような関数を線形関数と呼びます。 一般的に、ニューラルネットワークでは線形関数は使われません。この理由は、「なぜ多層パーセプトロンで線形関数を使わないのか？」で説明します。 一般的に、ソフトマックス関数と恒等関数は出力層で使われます。 ステップ関数 ステップ関数は、閾値を境にして出力が
Satellite Imagery Feature Detection using Deep Convolutional Neural Network: A Kaggle Competition
This paper describes our approach to the DSTL Satellite Imagery Feature Detection challenge run by Kaggle. The primary goal of this challenge is accurate semantic segmentation of different classes in satellite imagery. Our approach is based on an adaptation of fully convolutional neural network for multispectral data processing. In addition, we defined several modifications to the training objecti
Microsoft Researchら、リアルタイムで異常事象を検出し要約ビデオを作成するAIベースのホームセキュリティ・システムを開発。学校や店内、交差点などで活用
Microsoft Researchら、リアルタイムで異常事象を検出し要約ビデオを作成するAIベースのホームセキュリティ・システムを開発。学校や店内、交差点などで活用 2017-06-17 Microsoft Research Asiaと中国の上海交通大学は、リアルタイムで異常事象を検出し、必要なオンライン要約ビデオを作成する機械学習を用いたスマートホームセキュリティ・システムを開発しました。 本システムは、屋内外のセキュリティにおいて、何か事象が起きた時にそれを検知し分析・記録するAIベースのシステムです。家、お店、ショッピングモール、学校、ストリート、交差点、などでの活用を目的としています。 ビジュアルオブジェクト検出、トラッキング、イベント解析を多層構造のニューラルネットワークDeep learningに基づくリアルタイムイベント検出方法を提案しました。この方法は、異なるシナリオで何
ChainerがMicrosoft Azure, Windows に対応 | Webシステム開発／教育ソリューションのタイムインターメディア
ChainerがMicrosoft Azure, Windows に対応 #azure#Chainer#CNTK#Deep Learning#microsoft#Prefered Networks 2017年 06月 19日 fuji Chainerはどういう環境で動くであろうか。 Installation Guideを見ると、 Ubuntu 14.04/16.04 LTS 64bit CentOS 7 64bitとあるのだが、日本で特に多いWindowsが載っていない。 Windowsをサポートしていなくても、クラウド上のChainerを使って、手元のPCはWindowsというのはできるようだが、私はやったことがない。 それが、ついに、ChainerがMicrosoft Azure および Windows にも対応するようになるようだ。 詳細は、ASCII.jp の 「Chaine
書評:『自然言語処理と深層学習《Ｃ言語によるシミュレーション》』 | Webシステム開発／教育ソリューションのタイムインターメディア
題名：自然言語処理と深層学習 《Ｃ言語によるシミュレーション》 小高 知宏 著 A5、224項、本体2500円 平成29年3月25日 発行 オーム社 ISBN 978-4-274-22033-3 深層学習(Deep Learning)のブームが続いているが、多くの場合は画像系が話題の中心になっている。 深層学習は、何も画像処理だけでなく、自然言語処理にも使える、他にも、たぶん色々なことに使えるであろう。 ということで、少々画像関連ばかりをやるのに飽きてきたというのもあって、自然言語処理の本を取り上げることにした。 本書の最大の特徴は、Ｃ言語を使って実装されているということだ。 深層学習というと、今は圧倒的にPythonが多い。それも、多くはフレームワークを使っていて、深層学習がどのように実装されているのとかは全く分からないけれど、とりあえず動かすことができ、何かＡＩ的な動きになっているのを
Deep Learningを超える!? 数学を使った新しい分析手法TDAとは? | AI専門ニュースメディア AINOW
最終更新日： 2019年7月10日 どーも! まじすけです! 学部の研究内容で取り扱っているTopological Data Analysis (以下TDA) を紹介します? TDAって? 日本語に訳すと位相的データ分析と呼ばれ、柔らかい数学と言われる「トポロジー」を使ったデータ分析である。日本では東京大学・会津大学名誉教授 國井利泰氏、東北大学の平岡先生を中心に、実用化に向けての研究が行われている。 何に使われてるの? 富士通 2016年に富士通研究所が時系列データの高精度解析にTDAを用い、実験に成功した。 平岡研究室 日本のTDAの最先端研究室であり、タンパク質の構造分析にTDAを使用。 AYASDI 総額100億円の資金調達を成功させたAI Platformを運営するAYASDI。オフィスをシリコンバレーに構え次の統計の時代を築き上げるTDAを研究/開発している。 仕組みはこうであ
【満員につき事前予約枠増枠★】Deep Learningオールスターズ2017｜IT勉強会・イベントならTECH PLAY［テックプレイ］
Deep Learningオールスターズを開催致します！！ Deep Learningを利用し事業を運営している会社のエンジニアを招き、実際に何にどう導入して結果、失敗したことや成功した事例をお話頂きます！ ※同イベントでは人材紹介会社の方で営業やスカウト目的や、採用目的の人事の方のご入場は固くお断り致します、ご了承くださいませ。
CMU 10703: Deep RL and Control
Deep Reinforcement Learning and Control Spring 2017, CMU 10703 Instructors: Katerina Fragkiadaki, Ruslan Satakhutdinov Lectures: MW, 3:00-4:20pm, 4401 Gates and Hillman Centers (GHC) Office Hours: Katerina: Thursday 1.30-2.30pm, 8015 GHC Russ: Friday 1.15-2.15pm, 8017 GHC Teaching Assistants: Devin Schwab: Thursday 2-3pm, 4225 NSH Chun-Liang Li: Thursday 1-2pm, 8F Open study area GHC Renato Negrin
Learning Deep ResNet Blocks Sequentially using Boosting Theory
Deep neural networks are known to be difficult to train due to the instability of back-propagation. A deep \emph{residual network} (ResNet) with identity loops remedies this by stabilizing gradient computations. We prove a boosting theory for the ResNet architecture. We construct $T$ weak module classifiers, each contains two of the $T$ layers, such that the combined strong learner is a ResNet. Th
Practical Dependent Types: Type-Safe Neural Networks
Practical Dependent Types: Type-Safe Neural Networks Justin Le https://blog.jle.im (justin@jle.im) Lambdaconf 2017, May 27, 2017 Preface Slide available at https://talks.jle.im/lambdaconf-2017/dependent-types/dependent-types.html. All code available at https://github.com/mstksg/talks/tree/master/lambdaconf-2017/dependent-types. Libraries required: (available on Hackage) hmatrix, singletons, MonadR
Hybrid Reward Architecture for Reinforcement Learning
One of the main challenges in reinforcement learning (RL) is generalisation. In typical deep RL methods this is achieved by approximating the optimal value function with a low-dimensional representation using a deep network. While this approach works well in many domains, in domains where the optimal value function cannot easily be reduced to a low-dimensional representation, learning can be very
自己回帰型モデルの深層学習 - Start Today Technologies TECH BLOG
初めまして、データチームの上月です。 今回はVASILYテックブログ初の論文紹介、テーマは 自己回帰型モデル（Autoregressive, AR）です。 はじめに VASILYではIQONの類似画像検索にAutoencoderを適用しています。 具体的にはアイテム画像で学習したAutoencoderの潜在変数を特徴量として類似画像検索を行っていますが、背景やモデルの影響を受けやすいなどの課題があります。 この問題は「潜在変数にどのような情報を持たせるか」を調整することで解決できる可能性が高く、潜在変数の分布にはdecoderの表現力が関係しています。 最近ではVAEのdecoderとしてRNNや自己回帰型モデルなどといった表現力のあるモデルを用いたり1、 decoderの後にPixelCNN2を追加することで潜在変数がもつ情報を目的にあったものにする例があります（PixelVAE3）。
Best Research articles on Deep Learning for Text classification (2015–2016)
Text classification finds application in many tasks such as Sentence classification, document classification, sentiment analysis etc. When I initially started looking for research articles on Text classification using Deep Neural networks, I found it difficult to find the recent best articles. After a considerable time and effort, I was able to summarize the research articles one would need to get
RNNでプログラミング言語の構文エラーを自動修復する衝撃
コンパイルエラーの問題点 DeepFix Iterative Repair まとめ 参考文献 プログラミング言語のコンパイルエラーを自動で検知して修復することができたら、プログラマの作業時間を減らせる可能性があります。もしくは、テキストエディタがプログラムを書いている最中に、エラーだろうと思われる構文を見つけたときにさり気なく教えてくれたら生産性が著しく向上することも考えられます。 “Software is eating the world.“という言葉は、マーク・アンドリーセンの提唱した言葉です。まだまだ「食い尽くす」ほどではないものの、徐々にその影響力は高まっていると感じます。ソフトウェアを開発する必要性が増すにつれて、ソフトウェアエンジニアも次第に求められていくことでしょう。そして、そのプログラマの仕事の大部分はデバッグに費やされます。 バグや構文エラーを自動検知するシステムがテキス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Make Your Own Neural Network (English Edition): Rashid, Tariq: Digital Ebook Purchas
GitHub - SamPutnam/Index-2025
ChainerCV: a Library for Deep Learning in Computer Vision