深層学習の数理
2. １９４６： ＥＮＩＡＣ，高い計算能力 フォン・ノイマン「俺の次に頭の良い奴ができた」 １９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム 機械学習と人工知能の歴史 2 １９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け 第一次ニューラルネットワークブーム １９６３：線形サポートベクトルマシン １９８０年代：多層パーセプトロン，誤差逆伝搬， 畳み込みネット 第二次ニューラルネットワークブーム １９９２： 非線形サポートベクトルマシン （カーネル法） 統計的学習 線形モデルの限界 非凸性の問題 １９９６： スパース学習 （Lasso） ２００３： トピックモデル （LDA） ２０１２： Supervision （Alex-net） 第三次ニューラルネットワークブーム データの増加 ＋計算機の強化 １９６０年代前半： ＥＬＩＺＡ（イライザ）， 擬似心理療法士 １９８０年代
The Architectural Implications of Facebook's DNN-based Personalized Recommendation
The widespread application of deep learning has changed the landscape of computation in the data center. In particular, personalized recommendation for content ranking is now largely accomplished leveraging deep neural networks. However, despite the importance of these models and the amount of compute cycles they consume, relatively little research attention has been devoted to systems for recomme
Towards Reproducible Research with PyTorch Hub
Join us in Silicon Valley September 18-19 at the 2024 PyTorch Conference. Learn more. Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series
NVIDIA Boosts AI Performance in MLPerf v0.6 | NVIDIA Technical Blog
We made all our MLPerf v0.6 submissions in the Closed category, in which all systems execute the same computational work, yielding the most direct comparisons between submitted systems. MLPerf also has an Open category, where submitters are permitted to implement novel algorithmic optimizations that still achieve the required level of accuracy. Let’s walk through the software improvements NVIDIA e
Pytorchでpretrainモデルを用いた画像向けSiameseNetworkのメモ - Stimulator
- はじめに - NIPS 2016のSiamese Neural Networks for One-shot Image Recognitionを参考に、画像の距離学習を行う。 Siamese Networkは、各クラスの画像量にバラつきがあり、一部クラスが数枚しかない学習データでも上手く学習させられるネットワークである。 「特徴量同士の距離が近い画像」を探す事で、分類や検索といった問題を解くために利用できる。 やりたい事としては以下のような感じ。 sample (food-101 datasetより) 本記事は、以下の記事で利用したcnn_finetuneライブラリを用いて、pnasnet5largeをpretrainとした、画像の距離学習のtrain, testを行うメモである。 vaaaaaanquish.hatenablog.com また、最後にfood-101データセットを用い
最近の物体検出 2019/05/30
最近の物体検出 2019/05/30 1. 最近の物体検出 2019/05/30 2. お品書き •イントロ • 歴史の振り返り •最近の動向 • キーポイント系 • multi-scale対応 3. イントロ 4. https://twitter.com/RUSH1L/status/889963452143357952/photo/1https://www.youtube.com/watch?v=VOC3huqHrss 5. MegDet 詳細不明 (ensemble) 52.5 SNIP (R-FCN, DPN-98, DCN) (ensemble) 48.3 Mask R-CNN ResNeXt-152 32x8d CornerNet Hourglass-104 SNIPER (Faster R-CNN, R-101, DCN) NAS-FPN RetinaNet, AmoebaNe
Automatic Mixed Precision for Deep Learning
Deep Neural Network training has traditionally relied on IEEE single-precision format, however with mixed precision, you can train with half precision while maintaining the network accuracy achieved with single precision. This technique of using both single- and half-precision representations is referred to as mixed precision technique. Benefits of Mixed precision training Speeds up math-intensive
メルカリの写真検索を支えるバックエンド | メルカリエンジニアリング
メルカリのAI EngineeringでTech Leadを務めている中河です。今回は3/18に正式リリースされた「写真検索機能」を支えるバックエンド・インフラをシステム側からの視点でご紹介します。 写真検索とは 所謂、画像検索機能で商品名を知らなくても画像から商品を検索できる機能の事です。詳しくは下記の公式リリースをご覧ください。 about.mercari.com 基本的な写真検索の仕組みは、Deep Neural Networks (DNN)を使用して商品画像から特徴ベクトルを取得し、取得した特徴ベクトルをApproximate Nearest Neighbor Index(ANN Index)に追加して画像indexを構築。 検索時には同じく商品画像からDNNを介して特徴量ベクトルを取得し、ANN Indexから検索します。 アーキテクチャの概要 Figure1 上記がアーキテクチ
Deep learning unbalanced training data? Solve it like this.
One of the biggest problems that we face when we tackle any machine learning problem is the problem of unbalanced training data.The problem of unbalanced data is such that the academia is split with respect to the definition, implication & possible solutions for the same.We will here try to unravel the mystery of unbalanced classes in the training data using an image classification problem. What i
Manifold Mixup: Better Representations by Interpolating Hidden States
Deep neural networks excel at learning the training data, but often provide incorrect and confident predictions when evaluated on slightly different test examples. This includes distribution shifts, outliers, and adversarial examples. To address these issues, we propose Manifold Mixup, a simple regularizer that encourages neural networks to predict less confidently on interpolations of hidden repr
PRMLのアルゴリズムをPython(ほぼNumpyだけ)で実装 - Qiita
自分の勉強（機械学習のアルゴリズムやPythonの勉強）のためにPRMLに掲載されている手法をPythonで実装していきます。 原則としては、アルゴリズムの部分ではPythonの標準ライブラリに加えてNumpyだけ使用可能としていきます。scikit-learnやtensorflowなどの機械学習パッケージは使いません。matplotlibなどの結果を図示するパッケージはアルゴリズムの実装と関係がない限りは使っていきます。また、必要になったらscipyなどの他のパッケージもたまに使っていきます（すでにディガンマ関数などに使用）。ただし、最適化ツール（例えばscipy.optimizeやtensorflowの自動微分機能）などの実装を著しく簡単にするものは使いません。 基本的には、章ごとに一つの手法を実装していきます。~~一通り終われば二周目に入るかもしれません。~~自分の勉強のためのものな
deep_learning_object_detection/README.md at master · hoya012/deep_learning_object_detection
2018/9/18 - update all of recent papers and make some diagram about history of object detection using deep learning. 2018/9/26 - update codes of papers. (official and unofficial) 2018/october - update 5 papers and performance table. 2018/november - update 9 papers. 2018/december - update 8 papers and and performance table and add new diagram(2019 version!!). 2019/january - update 4 papers and and
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
imgdupes
https://www.usenix.org/system/files/opml19papers-ananthanarayanan.pdf
http://arxiv.org/pdf/1908.01707
Stanford CS224N: Natural Language Processing with Deep Learning Course | Winter 2019
Lectures
MLCommons | Better AI for Everyone
Scaling Machine Learning at Uber with Michelangelo
Dive into Deep Learning