【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 【決定版】スーパーわかりやすい最適化アルゴリズム 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 し
Optimizerはどれが優れているか（ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNINGの紹介）
この記事の概要この記事は2019/10/11にDami Choi等がArxivに投稿した”ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNING ”という論文の紹介/解説記事です。この論文の要旨をまとめると下記のようになります。 SGD, Momentum,RMSProp, Adam,NAdam等の中から、どの最適化手法(Optimizer)が優れているかを画像分類と言語モデルにおいて比較した研究各Optimizerは以下の包含関係にあり、より汎用的なAdam, NAdam, RMSPropは、各Optimizerの特殊な場合であるSGDやMomentumに負けない実際に実験すると(メタパラメータをチューニングすれば)NAdam, Adam等が良かった。よって計算資源があれば、実務上はNAdam, Adam等で全メタパラメータをチュ
An overview of semantic image segmentation.
In this post, I'll discuss how to use convolutional neural networks for the task of semantic image segmentation. Image segmentation is a computer vision task in which we label specific regions of an image according to what's being shown. "What's in this image, and where in the image is it located?" Jump to: Representing the task Constructing an architecture Methods for upsampling Fully convolution
最新のRegion CNN(R-CNN)を用いた物体検出入門 ~物体検出とは? R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN~ - Qiita
最新のRegion CNN(R-CNN)を用いた物体検出入門 ~物体検出とは? R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN~DeepLearningR-CNNfaster-r-cnn物体検出PyTorch （参考）：2022年における物体検出ライブラリについてまとめました。 更新履歴 Mask R-CNNについて加筆(12/13)。 F-RCNNのAnchorについて記述(12/23)。 Chainerのrepoについて追記(1/3/19)。 Detectronについて追記(3/28/19)。 高速化について追記（9/10/19)。 Torchvision FasterRCNNについて追記(7/6/20) SSD,YOLOについて準備中。 本記事は2018に記述したものです。RCNNの基本などは本記事の記述からさほど大きな変化はないものの、Eff
データのお気持ちを考えながらData Augmentationする
オプティマイザーはMomentumで係数は0.9です。このオプティマイザーの設定はケースを通じて変更しません。ただしその他の設定は途中で変更します。なお、試行回数はすべて1回なので精度に誤差があるかもしれません。 10層CNNは、32×32×64が3層、16×16×128が3層、8×8×256が3層、Global Average PoolingしてSoftmaxが1層という構成です。詳しくは末尾のコードを見てください。 Data Augmentationなしでの精度（テスト精度）は88.95%とりました。テストデータ1万個に対する混同行列は次の通りです。さすがにミス多いですね。 ベースライン：Standard Data Augmentation ここからData Augmentationを入れます。まず、CIFAR-10のData Augmentationとして定番の左右反転＋上下左右4ピ
How to do Semantic Segmentation using Deep learning
Published: May 19, 2021 ● Updated: Mar 25, 2024 This article is a comprehensive overview including a step-by-step guide to implement a deep learning image segmentation model. We shared a new updated blog on Semantic Segmentation here: A 2021 guide to Semantic Segmentation Nowadays, semantic segmentation is one of the key problems in the field of computer vision. Looking at the big picture, semanti
TPUで猫の顔のランドマーク検出を1から実装する - Qiita
猫の顔のランドマーク検出をやってみました。ただのランドマーク検出のつもりでしたが、MSEと同一の最適解で別の側面からの魔改造した損失関数を投入すると学習を明らかにブーストできる（損失がMSEベースで1/5になる）ことに気づいたので、それがメインになっています。 今回はこれに加えて、ResNet-50から転移学習させ、Google ColabのTPUで訓練させました。 リポジトリ：https://github.com/koshian2/cats-face-landmarks 学習済み係数は一番最後のケース7の損失関数を使って訓練させたものです。 ランドマーク検出とは 画像から要所要所となる点（ランドマーク）を検出するアルゴリズム。顔なら、目、鼻、口、眉毛、輪郭といったポイントを検出します。例としてはOpenCVによる実装があります。 （https://docs.opencv.org/3.4/
効率的な教師データ作成(アノテーション)のための研究サーベイ - ABEJA Tech Blog
どうも緒方@conta_です。 みなさんAI頑張ってますか？ きっと昼はGPUサーバーを回して、夜は結果待ちでビールサーバーを回してる人が多いことでしょう。 機械学習を実際のプロダクトに活用する場合、自分が解きたいタスクがそのままオープンなデータセットで解決できることは少ないので、まず最初に課題となるのはデータセット作成です。 実際にカメラやセンサーを取り付けて収集したり、Webからクローリングしてきたり、事業会社であれば自社のデータセットに教師ラベルをつけることで新しいタスクに取り組むことが可能になるでしょう。 よく疑問になるポイントとして、データセットの量と質は、多ければ多いほど良く、高品質であれば高品質であるほど良いのですが教師データを作成するのは一苦労です。 ＊下記アノテーションの量や質について実験した結果がまとまってます tech-blog.abeja.asia もちろん少数デー
【環境構築不要・スマホ/タブレットOK】東大松尾研のDeep Learningエンジニア育成講座『DL4US』を自習する - Qiita
PR: 以前の記事 のデータサイエンティスト向け講座のColab実行方法などをまとめ、 図解速習DEEP LEARNINGという本ができました。[2019年5月版] 機械学習・深層学習を学び、トレンドを追うためのリンク150選 - Qiitaでも、一部内容をご覧いただけます 参考: Colaboratoryユーザによる非公式の情報交換Slackを試験的に立ち上げました。リンクより、登録・ご参加ください。 TL;DR いつも満員抽選となる東大松尾研Deep Learningエンジニア育成講座『DL4US』の演習資料が公開された Google Colaboratoryを使えば、Python等セットアップ不要ですぐに始められる 全ノートブックを実行し、つまずき所も乗り越え方をまとめました セットアップ後は、スマホやタブレットのブラウザでもok GPUだって無料で使える! Colab概要はこちら:
畳み込みニューラルネットワークの高精度化と高速化
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
点群における3Dターゲット検出の新しいフレームワークVoteNet、2つのデータセットで最高精度を更新
3つの要点 ✔️ 2D検出器に頼ることなく生データを直接3Dターゲット検出が可能 ✔️ 点群ネットワークに古典的なハフ変換に似た投票メカニズムであるVoteNetを提案 ✔️ 従来手法の多くを凌駕した Deep Hough Voting for 3D Object Detection in Point Clouds written by Charles R. Qi, Or Litany, Kaiming He, Leonidas J. Guibas (Submitted on 21 Apr 2019 (v1), last revised 22 Aug 2019 (this version, v2)) Comments: Published by ICCV 2019 Subjects: Computer Vision and Pattern Recognition (cs.CV) はじめに
SSDで道路の損傷を検出した - Qiita
はじめに SSD(Single Shot Multibox Detector)で道路の損傷を検出しました． 作業環境等に関しては株式会社パソナテックさんにご協力いただきました． なお成果物は学習済みモデルとともにGitHubに公開されています． 不具合もまだ複数あると思いますので，気軽にissueを立てていただければと思います． やったことを最初から文章で説明するより，まずは成果物を見ていただいたほうが早いと思うので，デモをお見せします． このように，横断歩道やセンターラインのかすれ，陥没，ひび割れなどを検出することができます． 道路の損傷を検出する方法はいろいろありますが，画像認識を用いるならば，車で移動しながらスマホや車載カメラでリアルタイムに検出できると便利です． このような認識手法を採用するのであれば，デバイスの制約により，計算量が小さいモデルが求められます． 道路の損傷を物体認識
物体検出アルゴリズム(SSD : Single Shot MultiBox Detector)を学習させてみる - Qiita
DeepLearningを用いた物体検出アルゴリズムはいくつかあり、試してみた系の記事はたくさんあります。 画像の”どこ”に”何”があるかを識別してくれる物体検出アルゴリズムであるSSDも以下のような記事があるので、訓練済みのモデルを用いて試して見る分には簡単にできそうです。 SSD: Single Shot MultiBox Detector 高速リアルタイム物体検出デモをKerasで試す 今回は、SSDのKeras版(ssd_keras)のモデルについて、学習をどうやって行うかを試してみましたのでそれについて説明します。 データセットの取得 とりあえずVOC2007とかVOC2012とかのデータセットをダウンロードしてきます。 上記のサイトから"Details of each of the challenges can be found on the corresponding cha
FeatureFused-SSD～ssdkerasのその先3～ - Qiita
対象 Faster-RCNN,SSD,Yoloなど物体検出手法についてある程度把握している方． VGG16,VGG19,Resnetなどを組み込むときの参考が欲しい方． 自作のニューラルネットを作成している方． 1.FeatureFusedSSDとは 限られた解像度の中で小さい物体を検出するというタスクは非常に難しいことで，速度を犠牲にして精度を上げてきたが，FSSDでは大きく速度を落とさず小さい物体検出を高精度で行う．FSSDとはSSDの複数の階層の畳み込み層の特徴マップを融合することによって文脈情報を付加させもので，参考文献1)の論文によるとDSSDのFPSが29.4なのに対して，FSSDではFPSが43らしい． モデルは以下のようになっている． VGG16の畳み込み層の各層は層を深くしていくごとに特徴マップに反映されている物体の大きさは大きくなっていく． VGG16の畳み込み層第4群
VGG16-SSD~ssdkerasのその先１~ - Qiita
対象 Faaster-RCNN,SSD,Yoloなど物体検出手法についてある程度把握している方． VGG16,VGG19,Resnet，MobileNetなどをSSDに組み込むときの参考が欲しい方． 自作のニューラルネットを作成している方． 1.VGG16とは オックスフォード大学のVisualGeometoryGroup（VGG）が開発した16層のレイヤーからなるニューラルネットワークであり，他の多くの物体検出手法ではいまだにVGG16がよく使われている． 筆者がなぜVGG16と書いているかというと，SSDにはそのほかのフレームワークによって精度と速度のトレードオフではあるが，目的に合わせて活用することができるからである．（実際の実装に関する情報はとても少ないのだが・・・） 2.VGG16-SSD この図は見飽きたという方もいるだろうが，YoloとSSDの比較である． どちらも畳み込み層
MobileNet-SSD~ssdkerasのその先２~ - Qiita
対象 Faaster-RCNN,SSD,Yoloなど物体検出手法についてある程度把握している方． VGG16,VGG19,Resnetなどを組み込むときの参考が欲しい方． 自作のニューラルネットを作成している方． 1.MobileNetとは チャンネル方向への畳み込みを行わないことで，計算量を削減したモバイルアプリケーション向けのニューラルネットワーク．従来の畳込みフィルターの代わりに空間方向への畳み込みを行うDepthwise畳み込みフィルターと1x1のPointwise畳み込みフィルターを組み合わせることで計算量を削減． 比較 Convolutuion：カーネルサイズxカーネルサイズxチャネル数(入力) DepthwiseConv:カーネルサイズxカーネルサイズx1 PointwiseConv:1x1xチャネル数(入力) MobileNetではDepthwiseな畳み込みとPointw
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: ディープラーニングと物理学 原理がわかる、応用ができる (ＫＳ物理専門書): 田中章詞, 富谷昭夫, 橋本幸士: Digital Ebook Purchas
Amazon.co.jp: 実践GAN 敵対的生成ネットワークによる深層学習 (Compass Booksシリーズ): Jakub Langr (著), Vladimir Bok (著), 大和田茂 (翻訳): Digital Ebook Purchas
Amazon.co.jp: つくりながら学ぶ! PyTorchによる発展ディープラーニング: 小川雄太郎: 本
Takayuki Uchiba on Twitter: "3層ニューラルネットワークの普遍性定理のはなし。関数解析の基本的な定理から、こんな面白いことが証明できる。数学楽しいよ！ https://t.co/jBFto4WBLa"
