Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
高次元のデータを可視化するt-SNEの効果的な使い方
t-SNEは、高次元のデータを可視化する手法としては、非常に便利ですが、時々不可解な挙動をしたり、誤解を招くような可視化をすることがあります。 シンプルなデータを可視化して動作の仕組みを理解することで、t-SNEのより効果的な使い方を学ぶことができます。 t-SNEは、高次元のデータを調査するための手法として、2008年にvan der MaatenとHintonによって発表 [1] された人気の手法です。 この技術は、数百または数千次元のデータですら無理やり2次元の「マップ」に落とし込むという、ほとんど魔法のような能力を備えているために、機械学習の分野で幅広く普及しています。 このような印象を持っている方が多いのですが、こういった捉え方をしていると誤解を招くこともあります。 この記事の目的は、よくある共通の誤解を解くためでもあります。 t-SNEで可視化できることと、できないことを説明す
Deep Learningによる一般物体検出アルゴリズムの紹介 - ABEJA Tech Blog
一般物体検出アルゴリズムの紹介 今回CNNを用いた一般物体検出アルゴリズムの有名な論文を順を追って説明します。 コンピュータビジョンの分野において、一般物体検出とは下記の図のように、ある画像の中から定められた物体の位置とカテゴリー(クラス)を検出することを指します。 [6]より引用 Deep Learningアルゴリズムの発展によって、一般物体認識の精度は目まぐるしい勢いで進歩しております。 そこで今回はDeep Learning(CNN)を応用した、一般物体検出アルゴリズムの有名な論文を説明したいと思います。 R-CNN (Regions with CNN features) (CVPR 2014) [1] かの有名なCNNの論文[8]で、ILSVRC 2012の物体認識チャレンジで大差をつけて1位になりました。 このチャレンジでは1枚の画像が1000クラスのうちどれに属するかを推定する
畳み込みニューラルネットワークの仕組み | POSTD
(編注：2016/11/17、記事を修正いたしました。) ディープラーニングの分野でテクノロジの進化が続いているということが話題になる場合、十中八九畳み込みニューラルネットワークが関係しています。畳み込みニューラルネットワークはCNN（Convolutional Neural Network）またはConvNetとも呼ばれ、ディープニューラルネットワークの分野の主力となっています。CNNは画像を複数のカテゴリに分類するよう学習しており、その分類能力は人間を上回ることもあります。大言壮語のうたい文句を実現している方法が本当にあるとすれば、それはCNNでしょう。 CNNの非常に大きな長所として、理解しやすいことが挙げられます。少なくとも幾つかの基本的な部分にブレークダウンして学べば、それを実感できるでしょう。というわけで、これから一通り説明します。また、画像処理についてこの記事よりも詳細に説明
機械学習のデータセット画像枚数を増やす方法 - Qiita
画像水増しの意義 ディープラーニングのCNN等のクラス分類の精度を向上させるためには、優れた学習データセットが必要です。精度を担保するためには、以下のような工夫をする必要があります。 十分な画像枚数を用意する。 各タグの画像枚数を揃える タグ付けをより正確に行う 同じ分類のものでも、見た目が異なる場合は細かくタグを分ける これらを行うためには、とにかく枚数が必要です。種類によって枚数に偏りがある場合もあり、すべて手作業で抽出・タグ付けしていると大変です。 そこで、ある程度タグ付けされた画像たちを加工することで、画像の枚数を増やすことを考えます。その手法を幾つか紹介します。なお説明には、高城れにさんを画像処理のサンプルに使うべきとの意見に基づき、高城れにさんを利用します。 水増し手法 OpenCV 3.0 Pythonで実装します。 実際に水増しに使えるソースをこちらに用意しておきます。 G
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
NIPS 2016 Overview and Deep Learning Topics
1. Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved. NIPS 2016 読み会 @Preferred Networks 2017/1/19 NIPS 2016 Overview and Deep Learning Topics @hamadakoichi 濱田晃一 Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved. 2. Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved. 2 AGENDA ◆Deep Learning Topics ◆NIPS 2016 Overview ◆Generative Adversarial Networks(GANs) ◆Recurrent Neural Networks(RNNs) ◆G
ディープラーニング勉強会 AutoEncoder - Qiita
某所ディープラーニング勉強会の発表資料です。 AutoEncoderって何？ 出力データが入力データをそのまま再現する3層ニューラルネットだよ。 普通は、隠れ層の次元を入力層＆出力層より小さくするよ。 AutoEncoderの意味は？ 次元削減だよ。 データが分布する多様体を推定しているともいえるよ。 主成分分析に似てるけど、シグモイド関数とかの非線形変換もいけるよ。 AutoEncoderはいつ使うの？ 事前学習だよ。ニューラルネット全体で学習を行うための良い初期パラメータを得るのに行うよ。 訓練データで教師無し学習をしていくよ。n層目まで完了したらn+1層目の学習をするよ。 誤差の逆伝播が遠くの層へうまく伝わらない問題を解決したよ。 計算式 アフィン変換（線形変換＋平行移動）して活性化関数に食わせる。 入力層：$x \in [0,1]^d$ 隠れ層：$y = f_{W, b}(x) =
Chainerで画像のキャプション生成 - Qiita
概要 Chainerを使って画像のキャプション生成を実装しました。画像を入力するとその説明文を生成します。ソースコードは以下にあります。 https://github.com/dsanno/chainer-image-caption 以下の論文のアルゴリズムを使いました。 Show and tell: A neural image caption generator すでにChainerでキャプション生成を実装されている方もいたので、そちらも参考にしました。 Image caption generation by CNN and LSTM ～ Satoshi's Blog from Bloomington キャプション生成モデル 論文で使用するキャプション生成モデルは大きく分けて3つのネットワークで構成されています。 画像をベクトルに変換する${\rm CNN}$ ${\rm CNN}$に
ニコニコ動画の公開コメントデータをDeep Learningで解析する - Qiita
この記事は第2のドワンゴ Advent Calendar 2015の24日目の記事です。 ドワンゴエンジニアの@ixixiです。 niconicoのデータをDeep Learningなアプローチで解析してみた話です。 nico-opendata niconicoの学術目的用データ公開サイト https://nico-opendata.jp が最近オープンしました。 これまでも、国立情報学研究所にて、ニコニコ動画コメントデータや大百科データが公開されていましたが、 nico-opendataでは、ニコニコ静画のイラストデータの約40万枚のイラストとメタデータが研究者向けにデータ提供されています。 今回は、ニコニコ動画コメントデータ(誰でも取得可能)を用いたDeep Learningによるコメント解析例を紹介します。 超自然言語 ニコニコのコメントデータに限らず、twitterでのtweetや
Deep Learning リンク集 - 人工知能に関する断創録
乗るしかないこのビッグウェーブに Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進めるなかで記録していきたいと思います。読んだ論文の概要も簡単にまとめていく予定です。本ブログでは、当面の間、Theanoを使って各種Deep Learningアルゴリズムを実装していきたいと思います。 関連ニュースなどはTwitterでも流しているので興味があったらフォローしてください。 すべてに目が通せず更新が追いついていません。私のはてなブックマークで[Deep Learning]というタグを付けて登録しています。まったく整理できていませんがご参考まで。 Theano編 TheanoをWindowsにインストール（2015/1
Deep Learningの過去と未来 ～黒魔術からの脱却へ向けて～
This document summarizes a research paper on modeling long-range dependencies in sequence data using structured state space models and deep learning. The proposed S4 model (1) derives recurrent and convolutional representations of state space models, (2) improves long-term memory using HiPPO matrices, and (3) efficiently computes state space model convolution kernels. Experiments show S4 outperfor
ご注文はDeep Learningですか？ - kivantium活動日記
先日Deep Learningでラブライブ！キャラを識別するという記事が話題になっていました。この記事で紹介されている SIG2D 2014を知り合いから貸してもらったので参考にしながら、ご注文は機械学習ですか？のDeep Learning版を作ってみました。 Caffeなど必要なソフトのインストール Ubuntu 14.04の場合は過去記事を参照してください。これ以外にもpython-opencvなどを使いますが、依存関係の全ては把握できていないのでエラーが出たら適宜インストールしてください。 データの準備 Deep Learningでは大量の学習データが必要になると言われているので、まずは大量のデータを用意します。参考記事では6000枚のラブライブ画像を使ったということなので対抗して12000枚以上のごちうさ画像を用意したいと思います。それだけのデータを手動で分類するとそれだけで時間が
ツイートから好みのタイプの女の子を見つけるセンチメント分析とDeep Learning | 株式会社サイバーエージェント
業務経歴： 2012年株式会社サイバーエージェント入社。現在、子会社WAVESTにてJCJK向けメイクと自撮りの研究サービス「メイクme」のシステム責任者を担当。主にサーバサイドを担当しています。 概要 膨大なツイートから好みの女の子を見つけたいです。 好きな女の子のタイプのキーワードを入力すると、該当するアカウントを出力するステキなシステムを作ります。 作成したコードやデータはこちら https://github.com/inkenkun/tech_twitter 目次 1. 女の子だけのアカウントを取得したい Twitterには性別という属性がないため、まずは女の子のアカウントを何とかして大量に取得してこなければなりません。 おっさんとマッチングされても困りますからね。 1-2. 女性単語辞書を作る。 確実にこれは女性だってわかるアカウントを30個ほど目視で取得します。 そして抽出した
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
【後藤弘茂のWeekly海外ニュース】iPhone Xの深層学習コア「Neural Engine」の方向性 - PC Watch
Pythonではじめる OpenAI Gymトレーニング