先日、当社と共同研究をしている庄野研のゼミに参加させてもらった。その日は論文の輪講の日だった。そこでM2のSさんがレクチャーしてくれた Deep Residual Learning の話が面白かったので、以下メモとして記してみる。 ＃なお、このメモはDLについての基本的な仕組みは知っている人を前提に書いている。 ResNetとは？ もの凄い勢いで活発に研究されている Deep Learning 系機械学習であるが、昨年 ILSVRC'2015 という学会のコンペで、一般物体認識で最高性能を叩き出した ResNet (Deep Residual Net）という学習・識別器がある。当時 Microsoft Research にいた Kaiming He 氏が開発した、152層！のニューラルネットである。その論文はこちら。 多層ネットワークの勾配消失／発散問題 昨今のDL研究で分かってきたDLの

【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)

Residual Network（ResNet）とは ResNetのアイデア Shortcut Connectionの導入 Bottleneckアーキテクチャ ResNetの最適化ベストプラクティス Optimizerの選定 Batch Normalizationの位置 Post Activation vs Pre Activation Wide Residual Network まとめ 参考 2015年のImageNetコンペティションとCOCOセグメンテーションの最良モデルとしてDeep Residual NetworksがMicrosoft Researchから提案され、最大1000層以上の深いニューラルネットワークを構築することが可能となった。 本記事では、 Residual Networkとは何か Residual Networkのチューニング方法 Residual Networ

ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua

メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです．Twitterに投稿したスライドをまとめました． サムネ画像 スライド内のテキスト抽出（検索エンジン用） メンヘラちゃんと学ぶ ディープラーニング最新論文 製作: Ryobot はじめに 作者 • Ryobot (りょぼっと) • NAIST修士2年.RIKEN AIP勤務 (2017/7~) • チャットボットの個性と多様性の研究をしています • Twitter@_Ryobot でお気に入り論文を紹介しています スライドの概要 • メンヘラちゃんが最新論文をバリバリ語ってくれます • 分野は主に自然言語処理 (機械翻訳と言語理解) です • Twitter で投稿したスライドのまとめです メンヘラちゃん • ジョイネット様制作のLINEスタンプです • 作者様がフリー素

あまり有名ではありませんが変わった性質のニューラルネットワークとして Reservoir Computing があります。 Recurrent Neural Network のひとつですが、中間層の重みを固定してしまって、出力層の部分だけ学習するというアルゴリズムです。 Recurrent Neural Network とは まずは Recurrent Neural Network (RNN) について簡単に触れておきましょう。 時系列学習 時系列データを扱う方法は多種多様ですが、ニューラルネットワークにおいてはRNNを使います。 時系列情報をネットワーク内で表現するために途中にループがある構造のネットワークを指し、少し前だと Elaman Network とか Jordan Network とかが有名でした。 最近はディープラーニングの文脈で度々登場する Long-Short Term

はじめに 明治大学総合数理学部 Advent Calender 2017の18日目の記事です。今回は偏微分方程式と深層学習を繋ぐ話をしていきます。 目標 偏微分方程式の新しいSimulation方法であるDeep Galerkin Methodについて説明する。 Galerkin法について そもそもGalerkin Methodとは有限要素法(FEM : Finite Element Method)のアルゴリズムの一つである。そうなると有限要素法とはなんだとなるので、以下にざっくりではあるが説明していく。 有限要素法とは偏微分方程式をSimulationする手法の一つである。その前に他のSimulation方法を紹介すると、数値解析の講義などでまず先に習う微分方程式の手法は常微分ならEuler法(Wikipedia)であったり、偏微分方程式なら陽解法や陰解法(Wikipedia)などといっ

園田翔氏の博士論文を解説しました。 Integral Representation Theory of Deep Neural Networks 深層学習を数学的に定式化して解釈します。 ３行でいうと、 ーニューラルネットワーク—(連続化)→双対リッジレット変換 ー双対リッジレット変換＝輸送写像 ー輸送写像でNeural Networkを定式化し、解釈する。 目次 ー深層ニューラルネットワークの数学的定式化 ーリッジレット変換について ー輸送写像についてRead less

今回は、NIPS2018に投稿されたUnderstanding Batch Normalizationという論文を読んだので、紹介していきたいと思います。この論文は、なぜバッチ正規化（Batch Normalization）が学習に効果的なのかを実証的なアプローチで検証した論文です。 この記事は、ニューラルネットワークの基礎（全結合層や畳み込み層）を理解している方を対象にしています。また、可能な限りバッチ正規化を知らない方でも理解できるようにしています。この記事を読み終わるころには、「なぜバッチ正規化が学習に効果的なのか」が分かるようになっています。 ニューラルネットの基礎は以下の記事で紹介しています。 ニューラルネットワーク入門 KelpNetでCNN この記事は論文を要約したものに説明を加えたものとなっています。記事内で１人称で語られている文章については、多くが論文の主張となっています

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f

業界で有名な３講師による実践的なディープラーニング講座です。多くのタスクにおいて必要となる物体検出をていねいに解説します。 本や入門講座などでディープラーニングを学んだもののそこから一歩進めない方に、次のステップをレクチャーします。 自分で学習データを作成し、それを用いた学習ができるようになるので、自分のビジネスへ活用が可能です。 理論面は図を用いて詳しく解説します。コーディングではTensorflowやChainerを用いますが、実際にコーディングしているところを見せながら詳しく解説します。 シェルの簡単な操作とディープラーニングの初歩的な理解を前提としています。 このコースの対象受講者:SSD・YOLOを動かしたい人、動かしたことのある人tensorflow, keras, chainer動かした人、御自身で学ぶことができる方物体検出モデルを独自のデータセットで学習したい人より実用的な

ゼロつく②やるしかない...!! 「ゼロから作るDeep Learning②」とは 準備 : 無料GPUのgoogle colab上で実行する 「ゼロから作るDeep Learning②」のコード(ch01/show_spiral_dataset.py)を試しに動かす（p.41） 第1章　ニューラルネットワークの復習(P1~P55) 本章で学んだこと 第2章　自然言語と単語の分散表現(P57~P92) 自然言語処理 ①シソーラスによる手法 WordNet シソーラスの問題点 ②カウントベースの手法 カウントベースの手法の改善 ①相互情報量(PMI)の調整 ②特異値分解(SVD)による次元削減 各改善点などの実装(PTBデータセットを例に) 本章で学んだこと 第3章　Word2Vec(P93~P129) 推論ベースの手法（Word2Vec）の利点 カウントベース(SVD)の手法の問題点 推論

画像センシングシンポジウム (SSII 2019) の企画セッション「深層学習の高速化 〜 高速チップ、分散学習、軽量モデル 〜​」の講演資料です。 深層学習モデルを高速化する下記6種類の手法の解説です。 - 畳み込みの分解 (Factorization) - 枝刈り (Pruning) - アーキテクチャ探索 (Neural Architecture Search; NAS) - 早期終了、動的計算グラフ
(Early Termination, Dynamic Computation Graph) - 蒸留 (Distillation) - 量子化 (Quantization)

CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう