畳み込みニューラルネットワークの高精度化と高速化
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
【Deep Learning入門】0から勉強して3ヶ月でポリープ検出AIをつくったった - Qiita
３ヶ月で出来たもの まずは蠢く内臓の成果物から、これが今回作ったポリープ検出AIです！ 上の映像が元の内視鏡の動画で、 下が今回開発した検出AIの動作動画です。 青い枠で「ポリープだよ！」と主張してくれてますね！ ３ヶ月の学習の流れ 基礎的な機械学習手法のスクラッチ まずは数学的な理解から始めました。 手法ごとの数式を読んで、それを実装に落としていきます。 - 線形回帰 - 重回帰 - 主成分分析 - Kmeans - 決定木 - SVM 悶え苦しんだのですが、 この時期に数式に対するアレルギーがほぐれていきました！ 最初は2乗誤差の微分変形を理解するのに苦労した思い出があります。 このときに一番参考になった書籍は 「やさしく学ぶ 機械学習を理解するための数学のきほん」 です これで機械学習の更新の概念が腹落ちしました。オススメ！ kaggleへの挑戦 定番のタイタニックや 良質なコンペの
たった1000枚の画像分類『Train with 1000』で遊ぶ、学ぶ。 - Qiita
参考： GPipe、ARS-Aug、AutoAugment、森下らの手法 ただし、最も優れているGPipeはImageNetの学習済みモデルを利用するため、Train with 1000の条件から外れます。 GPipeを除くと、ARS-AugとAutoAugmentの双方でPyramidNet-SDが現時点で最も優れたモデルとなります。 従って、Train with 1000において現時点で最高水準の分類精度を達成しうるモデルはPyramidNet-SDと言えます。 (後記で言及しますが、実際は一応更に優れたモデルが提案されています。じ、実装できなかったんや…。) 実際にTrain with 1000に対してPyramidNet-SDを利用した所、分類精度は64.5%を達成しました。 本実験ではPyramidNet-SDをベースラインとし、更に認識精度を改善しうる手法について検討を行いまし
Deep learningで画像認識⑦〜Kerasで畳み込みニューラルネットワーク vol.3〜
DeepLearningで画像分類というと、万単位の大量の画像を学習させる必要があるイメージがあるかもしれませんが、少ない画像数でもDeepLearningで分類が可能となる方法があります。その1つの方法が画像データの水増し（データ拡張：Data Augmentation）です。 Kerasでは、「ImageDataGenerator」というクラスが用意されており、元画像に移動、回転、拡大・縮小、反転などの人為的な操作を加えることによって、画像数を増やすことができます（もちろん、元画像によく似た画像になる点は否めないため、過学習ぎみになる不安は拭いきれません）。 下に示すように、17種類の操作項目がありますが、今回は回転や水平方向のフリップ等、3項目のみ使用しました。下に示す最初の4項目は、画像の正規化の方法を意味しており、画像の前処理としてかなり重要ですが、今回はこのクラスを使用せずに自
エッジにおける深層学習の推論処理の効率化
1. 487-8501 1200 Tel 0568-51-8249 Fax 0568-51-9409 487-8501 1200 Tel 0568-51-9670 Fax 0568-51-1540 487-8501 1200 Tel 0568-51-9096 Fax 0568-51-9409 miya@vision.cs.chubu.ac.jp http://vision.cs.chubu.ac.jp MACHINE PERCEPTION AND ROB Chubu University Department of Robotics Science a College of Engineering Ayumi Miyako Machine Perception and Robotic 1200 Matsumoto-cho, Kasugai, A 487-8501 Japan Tel +81
畳み込みニューラルネットワークの研究動向
2017年12月に開催されたパターン認識・メディア理解研究会（PRMU）にて発表した畳み込みニューラルネットワークのサーベイ 「2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．ILSVRCでは毎年のように新たなCNNのモデルが提案され，一貫して認識精度の向上に寄与してきた．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている． 本稿では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，代表的なモデルについて複数のデータセットを用いて学習および網
ディープラーニングにおけるセマンティックセグメンテーションのガイド2017年版 | POSTD
Qureでは、私たちは通常、セグメンテーションとオブジェクト検出の問題に取り組んでいます。そのため、最先端技術の動向について検討することに関心があります。 本稿では、セマンティックセグメンテーションに関する論文を検討します。セマンティックセグメンテーションの研究の多くは、自然界・現実世界の画像データセットを使用します。その結果を医療用画像に直接適用できるわけではありませんが、現実世界の画像に関する研究は医療用画像のものよりもずっと成熟しているので、これらの論文を見直してみたいと思います。 本稿は、以下のような構成です。最初に セマンティックセグメンテーションの問題を説明 し、 アプローチ方法に関する概略 を述べます。最後に いくつかの興味深い論文を要約します。 今後の記事で、医療用画像が現実世界の画像となぜ異なるのかを説明する予定です。更に、今回の再検討から得たアプローチが、医療用画像の代
Knowledge Concentration: Learning 100K Object Classifiers in a Single CNN
Fine-grained image labels are desirable for many computer vision applications, such as visual search or mobile AI assistant. These applications rely on image classification models that can produce hundreds of thousands (e.g. 100K) of diversified fine-grained image labels on input images. However, training a network at this vocabulary scale is challenging, and suffers from intolerable large model s
亀のフィギュアに「これは銃です」 AIに誤認識させる手法をMIT学生が開発
AIによる画像認識は、今や人間と同等かそれ以上の精度まで進化している。そんなAIが、どう見ても亀のフィギュアにしか見えないものを「銃だ」と間違って認識してしまったら――。 米マサチューセッツ工科大学の学生研究チームがこのほど、ニューラルネットワークによる画像認識を“だます”3Dオブジェクトを作製する手法を開発したと発表した。この手法では、物体を見る方向を変えたり、拡大・縮小したり、カメラのノイズが乗っていたりしても安定して別の物体に誤認識させられるという。 2次元の画像を加工してAIをだます技術は以前からあったが、その画像をプリントして現実の光やノイズなどの要素が加わったり、回転したりすると正しい認識に戻ることから、現実世界で画像認識システムを使う際のリスクにはならないと考えられていた。
機械学習(深層学習)で画像関連をやってみたい場合はじめに抑えておいた方がよいものは何か - Qiita
職場で機械学習で画像関連をやってみたいんだけど、おすすめの本は何ですか？と聞かれてまともな回答ができなかったので、機械学習で画像関連をやりたい場合何を抑えればよいのかまとめてみる。 目次 1. 抑えておかなくてはいけない単語 2. まずコードをかいてみよう 3. 私が読んだ本 1. 抑えておかなくてはいけない単語 まず抑えておかないといけないのが畳み込みニューラルネットワーク(Convolutional Neural Network 以下CNNと記載)という単語です。 CNNは主に画像に関する機械学習において用いられています。 画像に関する機械学習をしたいのであれば、CNNを抑えておけば問題ありません。 CNNは最新の大規模画像認識の競技会(ILSVRC2016)でも応用されたものが使用されています。 そのため勉強したことが無駄になりません。 まずCNNというものがあるということを認識し、
深層学習は画像のどこを見ている！？ CNNで「お好み焼き」と「ピザ」の違いを検証 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは、AI開発部の伊藤です。 今回のブログは、「深層学習はいったい画像のどこを見て判断しているのか」という素朴な疑問に答えてくれる技術として、昨年提唱された「Grad-CAM」という技術を紹介します。 目次 目次 1. はじめに 2. Grad-CAMの紹介 Grad-CAMの仕組み： 3. 適用例 3-1. 画像キャプション生成（Image Captioning） 3-2. VQA（Visual Question Answering） 3-3. 学習用データのバイアス 4. 実施例（お好み焼きとピザを分類） 4-1. 画像データについて： 4-2. CNNの構築： 4-3. Grad-CAMの実装： 4-4. 実施結果の評価 お好み焼き画像でCNNの判定が当たっているケース： ピザ
高速な Convolution 処理を目指してみた。 Kn2Image方式 - Qiita
仕組みを学んでいると、すでに世の中に高速なConvolution処理が出回っていても、自前でもConvolution 処理を実装してみたくなりますよね（なりました）。 面白そうな論文「arXiv:1704.04428」の手法を真似て実装しました。 結果は... うん、まぁ... cudnn スゲぇなぁ を体感する事となりました......。 私の実装では、期待してたほどの処理速度には至りませんでしたが、資料をここにてまとめます。 なにかの参考になればと思い公開いたします。 背景 深層学習の理解を深めようと、自前で実装を行ってます。 Convolution 処理についても、理解を深めるため、自前で実装します。 cudnn 使えば イイじゃん なんですけども ソレはソレ。 Im2Col方式での実装を考えていましたが、(arXiv:1704.04428) Parallel Multi Chann
CNNとKNNの複合による分類精度の観測（機械学習における複数アルゴリズムの併用） - Qiita
この記事は、自身のブログ、Data Science Struggleを翻訳したものになる。 概略 Kaggleのようなコンテストだと複数のアルゴリズムを組み合わせたモデルを良く見る。ロジスティック回帰やラッソ回帰の結果を用いてxgboostでモデルを作成するといったようなものだ。 今回は実際に、cifar-10のデータセットを用いて、CNNとKNNを組み合わせて予測を行い、実際の精度を見てみる。 手順 行うことはシンプルであり、CNNで予測したスコアを訓練データとしてKNNでモデルを作成し、その予測を最終予測結果とする。 具体的な手順は以下のようになる。 データを3つに分割する 一つ目のデータからCNNモデルを作成する 二つ目のデータと三つ目のデータに対してCNNモデルで予測を行う 二つ目のデータのCNN予測スコアを用いてKNNモデルを作成する 三つ目のデータのCNN予測スコアに対して、K
最近読んだCNN系論文ざっくりまとめ [ 画像編 ] - 電通生のにこにこ調布日記
自分の研究室は自然言語処理を扱っている研究室で、自分自身も自然言語を扱った研究をしたいと考えているのですが、 「CNNの気持ちを理解できるかな？」と思いComputer Visionで有名そうな論文を何本か読んでみたので、 日記をつける程度の感覚でものすごく簡単にまとめてみようと思います。どんな論文を読んでみようか迷っている方のお役に立ったとしたら幸いです。 初学者につき間違い等ありましたら、コメントなどでご教授いただければ幸いです。 ImageNet Classification with Deep Convolutional Neural Networks (link) おそらくこれはDeepLeaningが盛り上がり始めた頃の論文ですね。 これを読んでみた理由としては、学習に使用するデータの正規化等の方法が他の論文から多く引用されているのを発見したからです。 Local Respon
![最近読んだCNN系論文ざっくりまとめ [ 画像編 ] - 電通生のにこにこ調布日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/f53cb93806aa783d57d430bf7abbaa3171ab4285/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687244679943%2F10328749687244705853%2F1495760910)
Kerasの作者@fcholletさんのCVPR'17論文XceptionとGoogleのMobileNets論文を読んだ - Qiita
Kerasの作者@fcholletさんのCVPR'17論文XceptionとGoogleのMobileNets論文を読んだDeepLearningKeras はじめに 最初は、軽量なConvNetに興味があったのでGoogleから出ているMobileNets 1 を読んでいたのだが、その過程でCholletさんのXception論文 2 を（後者は今更）読んだので合わせてまとめる。Cholletさんの論文はなんとなくカジュアルな雰囲気がして面白い。 どちらの論文もpointwise convolutionとdepthwise (separable) convoutionを用いて精度を保ちながらCNNのパラメータ数を削減している。すなわち、精度とパラメータ数のトレードオフを改善していると言える。 Xceptionは、パラメータ削減により、同一のパラメータで大規模な画像認識の高精度化を実現し、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://vcg.seas.harvard.edu/publications/interactive-image-segmentation-via-backpropagating-refinement-scheme/paper
2D-QRNN を導入した DCNN によるセマンティックセグメンテーションの高精度化
モデルアーキテクチャ観点からのDeep Neural Network高速化
自然言語におけるCNNの攻勢：QRNNにせまる
長文日記
