2020’s Top AI & Machine Learning Research Papers
TOPBOTS The Best of Applied Artificial Intelligence, Machine Learning, Automation, Bots, Chatbots Despite the challenges of 2020, the AI research community produced a number of meaningful technical breakthroughs. GPT-3 by OpenAI may be the most famous, but there are definitely many other research papers worth your attention. For example, teams from Google introduced a revolutionary chatbot, Meena,
物体検出フレームワークMMDetectionで快適な開発
2. Mobility Technologies Co., Ltd. 鈴木達哉 Suzuki Tatsuya 株式会社Mobility Technologies AIシステム部AI研究開発第2グループ Twitter : @x_ttyszk 自己紹介 2 ■ 2020年DeNAに新卒入社 ■ 現在はMobility Technologiesに出向中 3. Mobility Technologies Co., Ltd. ■ 物体検出フレームワークのMMDetectionを紹介する。 ■ Python & PyTorchで書かれている。 ■ 香港中文大学の研究室が開発しApache 2.0ライセンス。 ■ 2020年5月にv2.0.0がリリースされた。 ■ 研究開発の中でどう使え、どう便利そうか見ていく。 ■ 深いTipsを紹介するほどは使い込んではいない立場から。 ■ これを使わない時にも参
CS231n Convolutional Neural Networks for Visual Recognition
(this page is currently in draft form) Visualizing what ConvNets learn Several approaches for understanding and visualizing Convolutional Networks have been developed in the literature, partly as a response the common criticism that the learned features in a Neural Network are not interpretable. In this section we briefly survey some of these approaches and related work. Visualizing the activation
ICLR2020の異常検知論文の紹介 (2019/11/23)
2. 異常検知とは︖ n 1: ある画像のよごれや傷などの異常を検知する (⼀般的な異常検知) n 今回紹介する論⽂はこちらです n 2: 訓練分布のカテゴリ以外のカテゴリを検知する (Out-of-distribution 検知) n 似た問題設定 n Open set recognition: In-distributionの分類 + OOD検知 n Generalized zero-shot learning: In-distributionの分類 + OODの分類 1 2 3. 今回紹介する論⽂の概要 n タイトル: Iterative energy-based projection on a normal data manifold for anomaly localization n 学会: ICLR 2020 (under review) n 点数: 8,6,3 n ⼀⾔で⾔
Image GPT
We find that, just as a large transformer model trained on language can generate coherent text, the same exact model trained on pixel sequences can generate coherent image completions and samples. By establishing a correlation between sample quality and image classification accuracy, we show that our best generative model also contains features competitive with top convolutional nets in the unsupe
ONNC
ONNC (Open Neural Network Compiler) is a retargetable compilation framework designed specifically for proprietary deep learning accelerators. Its software architecture expedites porting ONNC to any Deep Learning Accelerator (DLA) design that supports ONNX (Open Neural Network Exchange) operators. ONNC guarantees executability across every DLA by means of transforming ONNX models into DLA-specific
Searching for Activation Functions
The choice of activation functions in deep networks has a significant effect on the training dynamics and task performance. Currently, the most successful and widely-used activation function is the Rectified Linear Unit (ReLU). Although various hand-designed alternatives to ReLU have been proposed, none have managed to replace it due to inconsistent gains. In this work, we propose to leverage auto
Tiny ImageNet Visual Recognition Challenge
Welcome to the tiny ImageNet evaluation server. Tiny ImageNet Challenge is the default course project for Stanford CS231N. It runs similar to the ImageNet challenge (ILSVRC). The goal of the challenge is for you to do as well as possible on the Image Classification problem. You will submit your final predictions on a test set to this evaluation server and we will maintain a class leaderboard. Tiny
パラメータ数10億！最新の巨大画像認識モデル「BiT」爆誕 & 解説 - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2019年12月24日のクリスマスイブにarxiv上でGoogle Brainから新たな画像認識モデルが発表されました。その名も BiT(=Big Transfer)。その性能は2019年にGoogleが出したEfficientNet(拙著解説記事)を様々なデータセットで超えるほどで現在のState-of-The-Art になっています。驚くべきはそれだけでなく、なんとこのモデル、パラメータ数が10億にもおよぶ巨大なモンスターモデル になっています。そんなBiTについて早速この記事で解説していきたいと思います。バッチノームやドロップアウト、Weight Decayなどを使用していないという、 今までの画
深層学習の極小量子化という新たなる希望
(スターウォーズのテーマをかけ、ゆっくりとスクロールしながらお読みください) この記事は LeapMind Advent Calendar 2019 25日目の記事です。 もはや年1回の更新すら怪しくなってきたこのブログですが、今年もなんとか更新できました。来年はどうなるかな。 概要LeapMindは極小量子化という技術にかなり注力していますが、どういうことをやっているのか、なぜそのようなことをやっているのか、CTO個人としての視点から解説します。 はじめにLeapMindという会社の究極的な目標を端的に表現すると、機械を今よりもインテリジェントにすること、特に、データセンターにあるような計算機ではなく、身近なエッジデバイスをインテリジェントにすることです。正確なニュアンスについて知りたい方は、現在絶賛社員募集中なので、ぜひ会社見学にいらっしゃってください。 さて、このような崇高なミッショ
CVPR 2019 速報
2. 概要 2 • CV分野のトップ会議CVPR2019の参加速報 – cvpaper.challenge（次ページ）のメンバーで編集 • ACL/CVPR 2019 網羅的サーベイ（サマリHP 229ページ記載）実⾏中！ • 今回，cvpaper.challengeからはWS/コンペに6件（5ページ） – 現在までの会議速報 • CVPR 2016 速報: https://www.slideshare.net/HirokatsuKataoka/cvpr-2016 • ECCV 2016 速報: https://www.slideshare.net/HirokatsuKataoka/eccv-2016 • CVPR 2017 速報: https://www.slideshare.net/cvpaperchallenge/cvpr-2017-78294211 • ICCV 2017 速報:
深層学習のモデル圧縮・高速化に関する論文80本ノック - そうだね
こんにちは.無事に3年生に進級できてホッとしています. 昨年度から深層学習のモデル改変による高速化手法について調べていました.そんなわけで本稿では深層学習モデルのパラメータ容量の削減や高速化を目的とした手法に関する論文を80本紹介します. 一部, ハイパーパラメータ探索(Neural Architecture Search等)の論文を「高速なモデルの探索に使えないかな〜」というきもちで含めました. また, 蒸留に関する論文は必ずしも高速化を狙ったものだけではなく, 蒸留そのものの派生論文についても含めています. 全ての論文について詳解ではなく雑な概要のみ記載しています. サーベイする際のガイドにでも使っていただければ幸いです. サクッと読んだだけの論文も多々ありますので間違い等ございましたらご指摘ください. では参りましょう. 高速なモデルアーキテクチャ より良い速度と精度のトレードオフを
畳み込みニューラルネットワークの最新研究動向 (〜2017) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://image-net.org/challenges/LSVRC/2012/supervision.pdf
GitHub - sekwiatkowski/awesome-capsule-networks: A curated list of awesome resources related to capsule networks
[DL Hacks] Hessian based-analysis
DLAU: A Scalable Deep Learning Accelerator Unit on FPGA
A Survey of FPGA Based Deep Learning Accelerators: Challenges and Opportunities
Why GEMM is at the heart of deep learning
Tensor flow usergroup 2016 (公開版)
