畳み込みニューラルネットワークの高精度化と高速化
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
Deep Learningによる行動認識 - OPTiM TECH BLOG
はじめまして、OPTiMの久末です。私は現在R&Dチームに所属している新卒1年目のスタッフで、普段は様々な物体の行動を映像から解析する日々を過ごしています。 今回はそんな私が、普段使っている技術に関して、そのバックボーンとなる部分も含めてお話しさせていただければとおもいます。 なお、今回のブログの内容は以前のブログで和田から紹介させていただいた「OPTiM TECH Seminar」で私がお話しさせていただいた内容を元に再構成しています。 そもそもなぜニューラルネットワークが流行ったのか ILSVRC ImageNet 有名な深層学習手法 VGG GoogleNet ResNet 機械学習による行動認識の歴史 行動認識とは 従来の手法 3D-CNN 行動分類データセット 3D-CNNの発展 3D-ResNets 全体的な流れ さいごに そもそもなぜニューラルネットワークが流行ったのか 現在
MobileNet(v1/2)、ShuffleNet等の高速なモデルの構成要素と何故高速なのかの解説 - Qiita
はじめに MobileNet系の高速なモデルアーキテクチャに利用される構成要素と、それらを利用したモデルについて、何故高速なのか観点と、空間方向の畳み込みとチャネル方向の畳み込みがどのようになされているかという観点で整理を行う。 高速なモデルアーキテクチャに利用される構成要素 まず、高速なモデルに利用される畳み込み構成要素について、計算量と、空間方向の畳み込みとチャネル方向の畳み込みがどのようになっているかを説明する。 まず、一般的な畳み込みの計算量を確認する。 入力特徴マップのサイズを$H \times W$、入力チャネル数を$N$、カーネルサイズを$K \times K$、出力チャネル数を$M$とすると、一般的な畳み込み層の計算量は、$H W N K^2 M$となる。 これは、入力特徴マップの1箇所につき畳み込みのコストが$K^2 N$で、これを入力特徴マップの$H W$箇所に適用する
Image Retrieval Overview (from Traditional Local Features to Recent Deep Learning Approaches)
2020/6/11 画像センシングシンポジウム オーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。 コンピュータビジョン分野を中心とした転移学習についての講演です。 パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質（異なるドメイン）のデータである場合も非常に多いです。 本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。
Convolutional Neural Networks for Sentence Classification
We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that a simple CNN with little hyperparameter tuning and static vectors achieves excellent results on multiple benchmarks. Learning task-specific vectors through fine-tuning offers further gains in performance. We additionally prop
カプセルネットワークはニューラルネットワークを超えるか。 - Qiita
先日、こんな記事が上がっていました。 グーグルの天才AI研究者、ニューラルネットワークを超える「カプセルネットワーク」を発表 中々刺激的なタイトルですね。 ニューラルネットワークといえば、近年の機械学習分野を支える最も大きな技術の一つであると言えます。そんなニューラルネットワークを超えたカプセルネットワークとは一体何なのでしょうか。また、本当にニューラルネットワークを超えたのでしょうか。 本記事では、カプセルネットワークの仕組みを理解することで、従来のニューラルネットワークとの違いを比較していきます。 CNN カプセルネットワークに触れるにあたり、まず畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)について理解しなければなりません。なぜなら、カプセルネットワークは、CNNをベースとして、CNNの欠点を克服するために生まれたモデルだからです
Convolutional Methods for Text
tl;drRNNS work great for text but convolutions can do it fasterAny part of a sentence can influence the semantics of a word. For that reason we want our network to see the entire input at onceGetting that big a receptive can make gradients vanish and our networks failWe can solve the vanishing gradient problem with DenseNets or Dilated ConvolutionsSometimes we need to generate text. We can use “de
TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 - Qiita
前回までRNN(LSTM)や他の識別器で為替の予測を行ってきましたが、今回はCNNで予測をしてみたいと思います。 第１回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる 第２回 ディープじゃない機械学習で為替(FX)の予測をしてみる データの準備 前回まで終値の差分を学習データとしていましたが、今回は終値そのものを学習データにしてみます。 また、今回はUSDJPYの１時間足、2008年1月1日〜2017年3月10日を利用し、前半95%を学習、後半5%をテスト（バリデーション）としました。 CNNは画像認識で高い精度を発揮していますが、画像以外でも応用することは可能です。例えば終値が以下のようなデータがあったとします。 これを画像に変換します。 このように１次元の画像と見なすことができます。 色が複数チャネルあるように見えますが実際はグレースケールです。カラーマッ
Create with AI
Copy<!-- Typekit: Update the link below with your Typekit ID --> <link rel="stylesheet" href="https://use.typekit.net/gnx8fcu.css"> <!-- Add your analytics script here --> <!-- I use Fathom, it’s a great alternative to Google Analytics with a minimal dashboard and a focus on privacy. Please consider using my referral link when creating an account: https://usefathom.com/ref/CSKBJR --> <!-- Favicon:
自然言語処理における畳み込みニューラルネットワークを用いたモデル - Qiita
はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです。 文の分類(評判分析・トピック分類・質問タイプ分類) Convolutional Neural Networks for Sentence Classification(2014/08) 評判分析や質問タイプの分類などの文分類を行うCNNを提案している論文。 具体的には文を単語ベクトルの列として表し、それに対してCNNを用いて特徴抽出・分類を行っている。論文では事前学習済みの単語ベクトル(Goo
CNNを利用した自然言語処理技術まとめ（2017年1月） - 終末 A.I.
年末に Language Modeling with Gated Convolutional Networks が一部界隈でバズったこともあり、CNNを用いた自然言語処理が注目を集め始めています。今年の後半あたりには、派生手法や関連手法が多く登場していくのではないかと思われます。 CNNはRNNに比べて並列処理に優れているため、処理速度が圧倒的に速いという利点がありますが、時系列データの処理に特化したRNNと比べると、特に言語モデルにおいては最終性能がやや劣っているという理解が一般的でした（テキストクラシフィケーションではタスクによってはCNNのほうが性能がいいものもありました）。 Gated Convolutional Networks では、Gated Linear Unit および Residual 層を利用し学習を効率化することにより、WikiText-103 のタスクで stat
LSTMを超える期待の新星、QRNN - Qiita
RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい！という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 本記事では、この研究のモチベーションとそのアプローチについ
畳み込みニューラルネットワークの仕組み | POSTD
(編注：2016/11/17、記事を修正いたしました。) ディープラーニングの分野でテクノロジの進化が続いているということが話題になる場合、十中八九畳み込みニューラルネットワークが関係しています。畳み込みニューラルネットワークはCNN（Convolutional Neural Network）またはConvNetとも呼ばれ、ディープニューラルネットワークの分野の主力となっています。CNNは画像を複数のカテゴリに分類するよう学習しており、その分類能力は人間を上回ることもあります。大言壮語のうたい文句を実現している方法が本当にあるとすれば、それはCNNでしょう。 CNNの非常に大きな長所として、理解しやすいことが挙げられます。少なくとも幾つかの基本的な部分にブレークダウンして学べば、それを実感できるでしょう。というわけで、これから一通り説明します。また、画像処理についてこの記事よりも詳細に説明
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20180701_CVPR2018_reading_YoheiKIKUTA
長文日記
TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 - Speaker Deck