「Patches Are All You Need?」のからくりを読み解く | Shikoan's ML Blog
ICLR2022のレビューとして投稿された「Patches Are All You Need?」という論文が気になったので読んでみて、少し試してみました。画像の高周波の成分の活用や、スループットと精度のトレードオフが見えてくる興味深い論文でした。 論文の概要 Transformerっぽいモデルを従来のConvolutionを使って再現したところ、Transfomerベースのモデルよりも精度も計算効率も良かった。 Patches Are All You Need? https://openreview.net/forum?id=TVHS5Y4dNvM ※図はこちらの論文からの引用です パラメーター数 vs 精度の比較 ConvMixerがこの論文、ResMLPは、DeiTはそれぞれ既存の研究でTransfomerからの発想を受けて作られたもの。ResNetは非Transfomerで従来のCo
Tracking Objects as Points (CenterTrack) - arutema47's blog
なんの論文？ CenterNetの著者からの最新論文。CenterNetと同様にシンプルなアプローチながら、有効性や応用性が高く様々な研究で使われるようになりそう。 前作CenterNetはPointを用いた物体検出であったが、今回は同様のPoint-baseのネットワークでトラッキングの提案。 従来Deepトラッキング系の研究よりも高速、かつ高精度を実現。 著者のAbst.が端的で面白い。 "Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. CenterTrack localizes objects and predicts their associations with the previous frame. That’
Chainer を振り返って
2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
猫でもわかるTabNet