Norm matters: efficient and accurate normalization schemes in deep networks
Over the past few years, Batch-Normalization has been commonly used in deep networks, allowing faster training and high performance for a wide variety of applications. However, the reasons behind its merits remained unanswered, with several shortcomings that hindered its use for certain tasks. In this work, we present a novel view on the purpose and function of normalization methods and weight-dec
Neural Network Quine
Self-replication is a key aspect of biological life that has been largely overlooked in Artificial Intelligence systems. Here we describe how to build and train self-replicating neural networks. The network replicates itself by learning to output its own weights. The network is designed using a loss function that can be optimized with either gradient-based or non-gradient-based methods. We also de
Complex-YOLO: An Euler-Region-Proposal for Real-time 3D Object Detection on Point Clouds
11institutetext: Valeo Schalter und Sensoren GmbH†, Ilmenau University of Technology* 11email: {martin.simon,stefan.milz,karl.amende}@valeo.com 11email: horst-michael.gross@tu-ilmenau.de Complex-YOLO: An Euler-Region-Proposal for Real-time 3D Object Detection on Point Clouds Abstract Lidar based 3D object detection is inevitable for autonomous driving, because it directly links to environmental un
UCバークレー、1枚の画像から物体の3Dモデルを推定するCNNを用いたフレームワークを発表
UCバークレー、1枚の画像から物体の3Dモデルを推定するCNNを用いたフレームワークを発表 2018-03-21 カリフォルニア大学バークレー校の研究者らは、単一の画像から物体の3D構造を推定する学習フレームワークを発表しました。 論文：Learning Category-Specific Mesh Reconstruction from Image Collections 著者：Angjoo Kanazawa,Shubham Tulsiani,Alexei A. Efros,Jitendra Malik 本稿は、3次元データに頼ることなく、CNN（Convolutional Neural Network）を用いて単一の画像から物体の3D構造を推定することを学ぶ計算モデルを提案します。 注釈付き2D画像コレクションから学習したモデルは、オブジェクトの形状、カメラのポーズ、テクスチャを推測す
マックス・プランク研究所ら、単一カメラから手指の追跡をするCNNを用いたリアルタイム3Dハンドトラッキング技術を発表。物で隠れた指も正確に推定
マックス・プランク研究所ら、単一カメラから手指の追跡をするCNNを用いたリアルタイム3Dハンドトラッキング技術を発表。物で隠れた指も正確に推定 2018-03-17 ドイツ：マックス・プランク情報科学研究所、ザールラント大学、スタンフォード大学、レイ・フアン・カルロス大学の研究者らは、単一RGBカメラでキャプチャした動画からCNN（Convolutional neural network）を用いて手指の追跡をするリアルタイム3Dハンドトラッキング技術を発表しました。 論文：GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB 著者：Franziska Mueller、Florian Bernard、Oleksandr Sotnychenko、Dushyant Mehta、Srinath Sridhar、Dan C
Deep k-Nearest Neighbors: Towards Confident, Interpretable and Robust Deep Learning
Deep neural networks (DNNs) enable innovative applications of machine learning like image recognition, machine translation, or malware detection. However, deep learning is often criticized for its lack of robustness in adversarial settings (e.g., vulnerability to adversarial inputs) and general inability to rationalize its predictions. In this work, we exploit the structure of deep learning to ena
Averaging Weights Leads to Wider Optima and Better Generalization
Deep neural networks are typically trained by optimizing a loss function with an SGD variant, in conjunction with a decaying learning rate, until convergence. We show that simple averaging of multiple points along the trajectory of SGD, with a cyclical or constant learning rate, leads to better generalization than conventional training. We also show that this Stochastic Weight Averaging (SWA) proc
Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN
Recurrent neural networks (RNNs) have been widely used for processing sequential data. However, RNNs are commonly difficult to train due to the well-known gradient vanishing and exploding problems and hard to learn long-term patterns. Long short-term memory (LSTM) and gated recurrent unit (GRU) were developed to address these problems, but the use of hyperbolic tangent and the sigmoid action funct
WNGrad: Learn the Learning Rate in Gradient Descent
Adjusting the learning rate schedule in stochastic gradient methods is an important unresolved problem which requires tuning in practice. If certain parameters of the loss function such as smoothness or strong convexity constants are known, theoretical learning rate schedules can be applied. However, in practice, such parameters are not known, and the loss function of interest is not convex in any
Google、画像をピクセル単位で把握し各オブジェクトに割り当てるセマンティックセグメンテーションCNNモデル「DeepLab-v3」オープンソース発表
Google、画像をピクセル単位で把握し各オブジェクトに割り当てるセマンティックセグメンテーションCNNモデル「DeepLab-v3」オープンソース発表 2018-03-13 Googleは、同社機械学習ライブラリTensorflow実装の画像セマンティックセグメンテーションdeep learningモデル「DeepLab-v3」をオープンソースにて発表しました。 GitHub:models/research/deeplab at master · tensorflow/models セマンティックセグメンテーションは、画像をピクセルレベルで把握し、各ピクセル１つひとつを画像内の各オブジェクト、例えば「道路」「空」「人」「犬」などのオブジェクトクラスに意味付けし割り当てることです。各オブジェクトの境界にあたる輪郭を正確に特定します。 今回発表されたDeepLab-v3は、前回のv2に比べ、
NIPS2017まとめのまとめ | moskomule log
After being extremely popular in the early 1990s, neural networks have fallen out of favor in research in the last 5 years. In 2000, it was even pointed out by the organizers of the Neural Information Processing System (NIPS) conference that the term “neural networks” in the submission title was negatively correlated with acceptance. In contrast, positive correlations were made with support vector
ファーウェイの次期フラッグシップスマホ「HUAWEI P20・P20 Pro・P20 lite」の画像がリーク！ノッチのある縦長画面ながらP20とP20 Proは指紋センサーが前面に。Proは3眼カメラも : S-MAX
ファーウェイの次期フラッグシップスマホ「HUAWEI P20・P20 Pro・P20 lite」の画像がリーク！ノッチのある縦長画面ながらP20とP20 Proは指紋センサーが前面に。Proは3眼カメラも 2018年03月09日06:15 posted by memn0ck カテゴリAndroidニュース・解説・コラム list 次期フラッグシップスマホ「HUAWEI P20」シリーズの画像がリーク！ さまざまな製品のリーク情報を提供しているEvan Blass氏（ @evleaks ）は7日（現地時間）、Huawei Technologies（以下、ファーウェイ）の次期フラッグシップスマートフォン（スマホ）「HUAWEI P20」および「HUAWEI P20 Pro」、「HUAWEI P20 lite」のプレスリリース用画像をリークしています。 ファーウェイではすでに公式にフランス・パリ
Solving Bongard Problems With Deep Learning
Bongard problmes are named after their inventor, Soviet computer scientist Mikhail Bongard, who was working on pattern recognition in the 1960s. He designed 100 of this puzzles, to be a good benchmark for pattern recognition abilities, and they seem to be challenging for both people and algorithms. Here is an example: Figure 1. Six images on the left conform to a rule, or a pattern, and the six im
The Building Blocks of Interpretability
Interpretability techniques are normally studied in isolation. We explore the powerful interfaces that arise when you combine them — and the rich structure of this combinatorial space. With the growing success of neural networks, there is a corresponding need to be able to explain their decisions — including building confidence about how they will behave in the real-world, detecting model bias, an
Chainerは数多くの企業に支えられている！Preferred Networksこれまでの歴史 | AI専門ニュースメディア AINOW
最終更新日： 2019年7月10日 こんにちは。AINOWのなっぴです。 機械学習ライブラリは何を使っていますか？ ライブラリの中でも代表的なものが“Chainer”ですね。 Chainerはオープンソースの深層学習プラットフォームで、国内でAI業界を牽引するPreferred Networksが中心となって開発しています。 今回は、Preferred Networksのこれまでの歴史を追いました。 どのような企業がどんな形でPFNに関わっているのか。一目でわかるようにPFNの沿革を画像でまとめました。 Preferred Networks これまでの歴史 編集後記 PFNがChainerを作っている会社、ということしか知らなかった人も多いのではないでしょうか？ 大会で優秀な成績を残していたり、DeNAと会社を設立していたりなど、意外なPFNの沿革がわかりました。 IT企業だけでなく、大手
GitHub - lutzroeder/netron: Visualizer for neural network, deep learning and machine learning models
How to build a deep learning model in 15 minutes
An open source framework for configuring, building, deploying and maintaining deep learning models in Python. As Instacart has grown, we’ve learned a few things the hard way. We’re open sourcing Lore, a framework to make machine learning approachable for Engineers and maintainable for Machine Learning Researchers. A common feeling in Machine Learning: Uhhh, this single sheet of paper does not tell
ホワイトカラー向けAIによるRPAソリューションを開発するシナモン、エンジェルらを中心に資金を調達 - BRIDGE（ブリッジ）
ホワイトカラー向けに人工知能（AI）を使った文書読み取りエンジンを開発するシナモンは26日、資金調達を実施したことを発表した。調達ラウンドや調達金額は不明。調達先は、MT パートナーズ、マネックスベンチャーズ、ベクトル、RPA ホールディングス、個人投資家の島田亨氏、谷家衛氏、森暁彦氏、石倉壱彦氏。 同社は以前、ネイキッドテクノロジーを創業しミクシィに売却した平野未来氏らにより2016年に創業。以前は Spicy Cinnamon として写真共有アプリ「Seconds」や「PicChat」を開発していたが、ビジネスモデルを C 向けから B 向けに一転させた。主要メンバーは Spicy Cinnamon の頃の顔ぶれを踏襲しているが、法人は改められているのでピボットという表現が正しいかどうかはわからない。 ＜関連記事＞ ベトナムとタイを拠点に、世界規模のコミュニケーションサービスを目指して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cpuheater.com
AAAS
