What is the class of this image ? Discover the current state of the art in objects classification.
Classification datasets results
What is the class of this image ? Discover the current state of the art in objects classification.
大脳皮質と deep learning の類似点と相違点
脳とdeep learning のアーキテクチャには共通の特徴が多くありますが、 脳にはあるのに現在(2012年時点)の deep learning にはない重要な特徴もあります。 その中には deep learning の性能をさらに向上させる 有望なヒントが含まれているのではないかと思います。 そこで、大脳皮質と deep learning の類似点と相違点を簡単にまとめてみました。 特に「脳は上の層ほど発火がスパース」「脳はあまり深くなくむしろ横に広い」 「脳では領野ごとに強い個性がある」といった特徴は、 重要なのではないかと思います。 ◆ 大脳皮質に見られる「深いネットワーク」 大脳皮質の視覚野（腹側経路と背側経路）、聴覚野、体性感覚野、運動野には 「深いネットワーク」の構造が見られる。 これらの領域における主な領野の階層構造を [Felleman and Essen 1991]
画像認識のための深層学習
This document summarizes a research paper on scaling laws for neural language models. Some key findings of the paper include: - Language model performance depends strongly on model scale and weakly on model shape. With enough compute and data, performance scales as a power law of parameters, compute, and data. - Overfitting is universal, with penalties depending on the ratio of parameters to data.
Deep Learningと画像認識� �～歴史・理論・実践～
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include: 1. Masked prediction tasks that predict masked patches of the input image. 2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image. 3. Self-distillation methods like DINO that distill a teacher ViT into a st
Convolutional Neural Network
論文「Quoc V. Le, Marc'Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S. Corrado, Jeff Dean, Andrew Y. Ng. Building high-level features using large scale unsupervised learning. 29 Dec 2011(last (this) revised 12 Jun 2012).」を読 んでいると、わからんキーワードを調べるとまた別のわからんキーワードにぶつかり、という無限ループにハマッテしまいました。なので、もういっそきちんとニューラルネットワーク関連テクニックをまとめてしまおうと思った次第です。まずは（と言ってもこれだけかもだけど）、畳み込みニューラルネットワーク（Convolutional Neura
Deep LearningとConvolutional Neural Network - Stimulator
- はじめに - 前回機械学習ライブラリであるCaffeの導入記事を書いた。今回はその中に入ってるDeep Learningの一種、Convolutional Neural Network(CNN:畳み込みニューラルネットワーク)の紹介。 CNNは今話題の多層ニューラルネット、Deep Learningの一種であり、画像認識等の分野に大きな成果をもたらしています。 まあCNNすごい。本当、画像認識系だと一強といった感じ。 実装経験もあるのでよしなに書いてみようという記事。 追記：2018-10-24 この記事は2014年終盤、Deep Learningに関連するネット記事も数個しかなく、各論文でもCNNに関する理解が分かれていたような時期に、大学生であった筆者が書いた記事です。概念の理解の助けになるよう残していますが、正しくない箇所も後々多く出てくるかと思います。考慮の上、お読み頂ければと
Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments
Python Theano を使って Deep Learning の理論とアルゴリズムを学ぶ会、第三回。今回で教師あり学習の部分はひと段落。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 第一回 MNIST データをロジスティック回帰で判別する 英 第二回 多層パーセプトロン 英 第三回 畳み込みニューラルネットワーク (今回) 英 第四回 Denoising オートエンコーダ 英 第五回 多層 Denoising オートエンコーダ 英 第六回の準備1 networkx でマルコフ確率場 / 確率伝搬法を実装する - 第六回の準備2 ホップフィールドネットワーク - 第六回 制約付きボルツマンマシン 英 Deep Belief Networks 英 Hybrid Monte-Carlo Sampling 英 Recurrent Neural Network
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。
ゼロから始めるDeepLearning_その4_Restrictedボルツマンマシンとは - 分からんこと多すぎ
はじめに MNISTで全然うまく行かないことが発覚したので、最適化を調べ中きちんと動きました。 学部四年生向け。だった。 ニューラルネットワーク →（AutoEncoder） →（DenoisingAutoEncoder） →ホップフィールドネットワーク →ボルツマンマシン →Restrictedボルツマンマシン（この記事） →（Gaussian Binary - Restricted Boltzmann Machines） →（DeepBeliefNetwork） →（DeepNeuralNetworks） →畳み込みニューラルネット（後日） 太線以外は読み飛ばしてOK Restricted Boltzmann Machines（RBM）をとりあえず使ってみる RBMには、ホップフィールドネットワークという前身がある。 できることは、それと同じである。 即ち、RBMとは、脳的なもの（マル
ゼロから始めるDeepLearning_その3_ボルツマンマシンとは - 分からんこと多すぎ
はじめに 学部四年生向け。 ゼロから始めるDeepLearning_その1_ニューラルネットとは - 分からんこと多すぎ →（Auto Encoder） →（Denoising AutoEncoder） →ゼロから始めるDeepLearning_その2_ホップフィールドネットワークとは →ボルツマンマシン（この記事） →Restricted ボルツマンマシン（後日） →（Gaussian Binary - Restricted Boltzmann Machines） →（Deep Belief Networks） →（Deep Neural Networks） →畳み込みニューラルネット（後日） 太線以外は読み飛ばしてOK 正直、RBMを使いたいだけなら、この記事は読まなくても問題ない。 ボルツマンマシン自体の資料が少なすぎて、この記事全体的に怪しい。 ボルツマンマシン 前回記事（ホップフ
C#でDeep Learning（Accord.NETによる方法） - whoopsidaisies's diary
流行りのDeep LearningをC#で試してみる．機械学習やコンピュータビジョン，信号処理等の.NET向けのオープンソースのライブラリであるAccord.NET FrameworkにDeep Learningが実装されているのでそれを使う． Deep Belief Networks(DBN), Deep Neural Networks(DNNs)とおまけにRestricted Boltzmann Machine(RBM)を単体で動かしてみる． Deep Learning自体については以下のページ等を参考に． MIRU2014 tutorial deeplearning Deep Learning技術の今 ディープラーニング チュートリアル（もしくは研究動向報告） Accord.NETのインストール NuGet経由でインストール可能．プロジェクトを右クリックして「NuGetパッケージの管
はじめるDeep learning - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? そうだ、Deep learningをやろう。そんなあなたへ送る解説記事です。 そう言いながらも私自身勉強しながら書いているので誤記や勘違いなどがあるかもしれません。もし見つけたらご連絡ください。 Deep learningとは こちらのスライドがとてもよくまとまっています。 Deep learning つまるところ、Deep learningの特徴は「特徴の抽出までやってくれる」という点に尽きると思います。 例えば相撲取りを判定するモデルを構築するとしたら、普通は「腰回りサイズ」「マゲの有無」「和装か否か」といった特徴を定義して、それを
自然言語処理まわりのDeep Learningを自分なりにまとめてみた — KiyuHub
自然言語処理まわりのDeep Learningを自分なりにまとめてみた “自然言語処理のためのDeep Learning”というスライドを公開しました． 自然言語処理のためのDeep Learning from Yuta Kikuchi カジュアルな感じで自然言語処理まわりのDeep Learningの話題をまとめた感じになっています． きっかけは，勉強会をしていることを知ったOBのbeatinaniwaさんにお願いされたことで， 株式会社Gunosyの勉強会の場で，発表の機会を頂きました． それが，9/11で，その後9/26に研究室内で同じ内容で発表しました． どちらも思った以上に好評を頂け，公開してはと進めて頂いたので，公開することにしました． もちろん間違いが含まれている可能性も多分にあるので．気づいた方はご指摘頂けると幸いです． 内容ざっくり 前半は，ニューラルネットワークを図を使
Deep Learning Tutorials Denoising AutoEncoder編 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は非常に眠いです。はよ寝ろよってことか？ さて、本日はDeepLearningTutorialのDenoising AutoEncoderの解説（？）もとい勉強メモを書きます。 AutoEncoder 端的に申しますと、AutoEncoderとは生データから自動で特徴量を抽出できる偉大なマシンです。 （次元削減を繰り返す）。 具体的な動作として「入力と学習データを同じにし、中間層（HiddenLayer）の重みを学習する」といったことを行っています。 画像で書くとこんな感じ x = zであり、それらを入力、教師データとして学習します。 Denoising Auto Encoder Denoising AutoEncoderは一部を欠損させたデータを入力として学習することによって 元にデータを戻す作業を行っている感じです。 入力にある程度様々なパターンを与え
Restricted Boltzmann Machineの学習手法についての簡単なまとめ
近年の機械学習ではDeep Learningと呼ばれる分野が一世を風靡しています．コンピュータビジョンや自然言語処理，音声認識などの分野では何らかの問題を解こうとした際に，まず対象の入力データからSIFTやケプストラムといった何らかのアルゴリズムを用いて特徴ベクトルを抽出し，ごりごりと判別していくといった流れが一般的です．しかし，その特徴ベクトルを生成するという生のデータから本質となる部分を抽出するアルゴリズム自体は研究者が一生懸命考えながら作るのが普通でした． Deep Learningの分野で最も有名な手法の一つであるDeep Belief Nets(DBN) [Hinton06]は，研究者がアルゴリズムを作るのではなく，それ自体も機械学習にやらせましょうという動機で生まれたアルゴリズムです．DBNではまるで一昔前にやたら流行ったニューラルネットワークのように各ノードを層状に配置し，そ
Deep learning 用語集
deep learning とは、従来よりも多くの層を持ったニューラルネットを用いる 機械学習技術です。 deep learning は、画像認識、音声認識などの分野で、 いろいろなベンチマークで従来技術を超える性能を出しており、 注目を集めています。 私自身も勉強不足ですが 僭越ながら、 deep learning 関連用語について自分の理解で簡単にまとめました。 （挙げてある原論文もちゃんと読んでません！ 間違いがあればぜひご指摘ください。） Deep Learning auto-encoder または RBM などを積み重ねた深い構造を持つ機械学習器。 従来は研究者が手作りしていた特徴抽出器を、 代わりに大量のデータから学習させ自己組織化させるアプローチとも言える。 deep learning を特徴抽出器として使い、 識別器としては最上位層でＳＶＭなどを使うこともある。 deep
Deep Learningの技術と未来
2017年12月に開催されたパターン認識・メディア理解研究会（PRMU）にて発表した畳み込みニューラルネットワークのサーベイ 「2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．ILSVRCでは毎年のように新たなCNNのモデルが提案され，一貫して認識精度の向上に寄与してきた．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている． 本稿では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，代表的なモデルについて複数のデータセットを用いて学習および網
JavaによるDeep Learningの実装（Deep Belief Nets, Stacked Denoising Autoencoders 編） - Yusuke Sugomori's Blog
これまでPythonやC/C++でDeep Learningを実装してきましたが、Javaでも同様に実装しましたので、コードを紹介しようと思います。 実装したものは、DBN（Deep Belief Nets）およびSdA（Stacked Denoising Autoencoders）となります。 コードの掲載順序は下記のようになっています。 DBN.javaRBM.java（Restricted Boltzmann Machine，制約付きボルツマンマシン）SdA.javadA.java（Denoising Autoencoders）LogisticRegression.java（ロジスティック回帰）HiddenLayer.java（ニューラルネットワークの隠れ層を表すクラス）RBMはDBNの教師なし学習部分、dAはSdAの教師なし学習部分となるクラスであり、LogisticRegress
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ScalaによるDeep Learningの実装 - Yusuke Sugomori's Blog
Deep learningの軽い紹介
