論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
化合物でもDeep Learningがしたい！ - kivantium活動日記
この記事は2017年12月15日に https://kivantium.net/deep-for-chem/ に投稿したものです。 情報が古くなっていますが、まだ参照されているようなので再掲します。 この記事はDeep Learningやっていき Advent Calendar 2017の15日目です。 Deep Learningの威力が有名になったのは画像認識コンテストでの圧勝がきっかけでしたが、今ではDeep Learningはあらゆる分野に応用され始めています。NIPS2017でもMachine Learning for Molecules and Materialsが開催されたように、物質化学における機械学習の存在感が高まりつつあります。この記事ではその一例として化学の研究にDeep Learningが使われている例を紹介していきます。 化学物質の研究に機械学習が使われる主なパター
GANによる超解像がもたらす新しい方向性と「The Perception-Distortion Tradeoff」の話 - Think more, try less
CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう
GoodfellowさんのGANのオススメ論文10選まとめ (2018/02) - ディープラーニング東京
GANの作者のGoodfellowさんがおすすめの10論文を教えていたので、みてみます。 GANの作者であるGoodfellow がGANの論文たくさんあって何から追えばいいかわからない人向けに10個の論文を推薦しています。理論、符号化、差分プライバシー、高精細、多クラス、条件付けなど https://t.co/M3DhTqQbOL— Daisuke Okanohara (@hillbig) February 27, 2018 Does someone have a list like the 10 or even 20 GAN related papers I should read this year or something like this? I can't keep up. @goodfellow_ian ?— Timnit Gebru (@timnitGebru) Febru
畳み込みニューラルネットワークの最新研究動向 (〜2017) - Qiita
昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は，生物の脳の視覚野に関する神経生理学的な知見1を元に考案されたNeocognitron2に見ることができる．Neocognitronは，特徴抽出を行なう単純型細胞に対応する畳み込み層と，位置ずれを許容する働きを持つ複雑型細胞に対応するpooling層とを交互
10万枚の胸部X線画像をCNNした - 驚異のアニヲタ社会復帰の予備
読んだ。 ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases. IEEE CVPR 2017 3万人の患者から10万枚程度の胸部X線画像を入手し、CNNによりAtelectasis, Cardiomegaly, Effusion, Infiltration, Mass, Nodule, Pneumonia, Pneumothorax, Normal の8つの病気と正常の区別を行う。 F値ベースだと0.8-0.9 くらい、ただしNodule やMass だと0.5 とかになる。 AUCベースだと0.7-0.8 くらい、これもMass だと0.56 でやる意味ある
ディープラーニングの判断根拠を理解する手法 - Qiita
ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua
新規アプリケーションへの深層学習適用のベストプラクティス - Qiita
どのようにサービスにディープラーニングを適用すればいいか、ベストプラクティスがまとまっていた論文があったので、訳してみました。 元論文 Best Practices for Applying Deep Learning to Novel Applications Leslie N. Smith https://arxiv.org/ftp/arxiv/papers/1704/1704.01568.pdf アブスト このレポートは、特定のドメインのエキスパートだがディープラーニングに詳しくない人向け ディープラーニングを試してみたいと思っている初心者のための経験的なアドバイス フェイズを分割することで、マネージメントしやすくすることを薦めている 各フェイズごとに、新規学習者へのおススメと知見を含んでいる イントロダクション ディープラーニングの研究してるから、ディープラーニングのアプリケーショ
AIは医療分野にどのような変化をもたらすか - Preferred Networks Research & Development
AIの分野で深層学習を中心とした大きな変革が起きているのと同時に、バイオテクノロジーの分野でもゲノムシーケンサやゲノム編集など革新的な科学技術が登場しています。 この二つの革命を融合させて生命の仕組みを理解し、未来の医療へとつなげていく動きが世界中に起きています。こうした動きを俯瞰した上で、私達がAIの技術を医療分野にどのように活用していくかについて以下の特集記事で述べています。基本的に、生体メカニズムはとても複雑であり、人間が全ての生命現象を正確に把握するのは困難です。バイオテクノロジーとAIの力を組み合わせることで、解明を進められると考えています。是非ご覧いただき、ご意見などいただければと思います。 「AIは医療分野にどのような変化をもたらすか」 岡野原 大輔、大田 信行 国際医薬品情報 2017年2月27日 第1076号 潮流 [pdf] （発行元の国際商業出版株式会社様に転載許諾を
Deep Forest :Deep Neural Networkの代替へ向けて - Qiita
技術動向についていくことは多くの労力を必要とする。次々に新しい論文が発表されるためだ。 一方で最新論文さえも長年の地道な積み重ねの上にあることを、その引用文献から気付かされる。 ディープラーニングブームの流れも変わるのだろうか？ 勉強のため、2017年2月28日付けでarXivに投稿されたZhi-Hua Zhou, Ji Feng「Deep Forest: Towards An Alternative to Deep Neural Networks」を翻訳した。 訳には誤りがないよう注意を払いましたが、完全であることを保証できないため、実装等の際には元論文を参照願います。 原文： Deep Forest: Towards An Alternative to Deep Neural Networks https://arxiv.org/abs/1702.08835 https://arxiv
Deconvolutionの代わりにPixel Shufflerを使う
概要 ChainerでPixel Shufflerを実装した はじめに 昨年にTwitter社が発表した超解像の論文を読んでいたところ、画像の拡大によく用いられるDeconvolutionを使わず、Pixel Shufflerと呼ばれる仕組みを利用して超解像を行っており、気になったので調べました。 Pixel ShufflerはReal-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Networkで提案されたもので（正式にはSub-Pixel Convolution）、入力特徴マップの各ピクセルを並べ替えて高解像度な特徴マップを出力します。 今回はDCGANのGeneratorをDeconvolutionとPixel Shufflerの両方で構成し
自然言語処理における、Attentionの耐えられない短さ - Qiita
「あなたって、私の言葉の最後の方しか聞いてないのね」 実は人間だけでなくニューラルネットワークもそうだった、という結果を示しているのがこちらの論文です。 Frustratingly Short Attention Spans in Neural Language Modeling 言い訳としては「だって君の次の言葉を予測するだけならそれで十分だから」ということになるんですが、そう言うと角が立つのは人間関係においても研究においても同様のようです。 本編は、上記の論文の紹介と共に他の関連論文も交えながら、実際の所本当に最後の方しか必要ないのか、そうであればなぜそんなことになるのか、という所について見て行ければと思います。 なお、参照した論文は以下のGitHubで管理しています。日々更新されているため、研究動向が気になる方は是非Star&Watchをして頂ければと！。 arXivTimes At
はじめてのGAN
今回はGAN（Generative Adversarial Network）を解説していきます。 GANは“Deep Learning”という本の著者でもあるIan Goodfellowが考案したモデルです。NIPS 2016でもGANのチュートリアルが行われるなど非常に注目を集めている分野で、次々に論文が出てきています。 また、QuoraのセッションでYann LeCunが、この10年の機械学習で最も面白いアイディアと述べていたりもします。 “The most interesting idea in the last 10 years in ML, in my opinion.” –Yann LeCun GANは聞いたことはあるけれどあまり追えてないという人向けに基礎から解説していきたいと思います。それでは順に見ていきましょう。 目次 基礎理論 DCGAN 実装 論文紹介 まとめ 基礎理
深層学習がさらに進化、動画生成や「学習方法の学習」も
Preferred Networks（PFN）は、機械学習分野で最大級の国際会議「Neural Information Processing Systems（NIPS）2016」で発表された論文（ProceedingsのWebサイト）を有志が紹介する「NIPS2016読み会」を1月19日に開催した（イベントのWebサイト）。招待講演3件、口頭発表2件、ポスター発表15件のそれぞれで注目論文を取り上げて解説。論文の紹介をポスター形式で実施するのは珍しいが、「口頭発表と比べてより深い議論ができ、より多くの論文を扱えると考えたため」（主催したPFNの大野健太氏）という（発表資料の一覧）。 参加応募者121名に対して当初60名だった参加者枠を70名に増やしたり、ポスター発表者の数を10名から15名に増やしたりするなど、参加者、発表者ともに関心の高さが伺えた。なお、NIPS 2016での発表内容につ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging
IEICE Trans - 物体認識のための畳み込みニューラルネットワークの研究動向
https://www.slideshare.net/DeepLearningJP2016/dlneural-ordinary-differential-equations
Noise2Noise: Learning Image Restoration without Clean Data を読んでみた
[DL輪読会]Deep Neural Networks as Gaussian Processes![[DL輪読会]Deep Neural Networks as Gaussian Processes](https://cdn-ak-scissors.b.st-hatena.com/image/square/99c9caff695a1aa5e09afe5030ed78abaa8bc4eb/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdl0216okamoto2162-180323031830-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
IPAB2017 深層学習を使った新薬の探索から創造へ
