SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita
0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ
papergraph
Input a (partial) paper title and press enter to search. Prefix your search with id: to search for a Semantic Scholar ID. Prefix with ~ to look for out- instead of in-citations. The first result will become the root node. Double-click a node to make it the root. Try: [ResNet] [BERT] [EfficientNet] [MuZero] [World Models] [~GPT-2] [Lottery] [~Troubling Trends]
RAdam: Adam の学習係数の分散を考えたOptimizerの論文紹介 - nykergoto’s blog
表題の通り噂の最適化手法 RAdam の論文 On the Variance of the Adaptive Learning Rate and Beyond を読んだので, そのまとめです!! 概要 一言でいうと「今までヒューリスティックに行っていた Adam 学習開始時の LR 調整を自動化できるような枠組みをつくったよ」ということになると思います. 考える問題 この論文で, 考えていくのは機械学習のように多数のデータから成る目的関数を最小化するような問題です. 特にニューラルネットワークの学習では勾配法, 特に SGD (確率的勾配降下法) と呼ばれる方法を用いることが一般的です. SGD には様々な adaptive バリエーションがあります.この adaptive とは問題の特性を生かして, SGD を早くするような工夫を指しています. 一般的な形式 一般的な adaptive
UMAP 論文を読む - Qiita
この記事は 機械学習の数理 Advent Calendar 2018 の 11 日目のための記事です. 間に合いましたか? この記事について McInnes らによる "Uniform Manifold Approximation and Projection (UMAP)" を読み, その解説を試みます. UMAP は t-SNE のようにデータの次元削減とその可視化を提供する手法です. t-SNE よりも可視化の結果がより良く見える (同じクラスタはよりまとまっている) ことや, データを fuzzy topology というこれまで使われてこなかったけど数学的裏付けがあってイケてる方法で表現したぜ！ と言ってる点が目を引き, 読んでみようと思ったのですが, 圏論の言葉で書かれており読むのに苦労していたら12月になっていました. 機械学習界隈で圏論に馴染みがあることを仮定するのは無理が
A Review of the Neural History of Natural Language Processing - AYLIEN
This is the first blog post in a two-part series. The series expands on the Frontiers of Natural Language Processing session organized by Herman Kamper and me at the Deep Learning Indaba 2018. Slides of the entire session can be found here. This post will discuss major recent advances in NLP focusing on neural network-based methods. The second post will discuss open problems in NLP. Disclaimer T
GoodfellowさんのGANのオススメ論文10選まとめ (2018/02) - ディープラーニング東京
GANの作者のGoodfellowさんがおすすめの10論文を教えていたので、みてみます。 GANの作者であるGoodfellow がGANの論文たくさんあって何から追えばいいかわからない人向けに10個の論文を推薦しています。理論、符号化、差分プライバシー、高精細、多クラス、条件付けなど https://t.co/M3DhTqQbOL— Daisuke Okanohara (@hillbig) February 27, 2018 Does someone have a list like the 10 or even 20 GAN related papers I should read this year or something like this? I can't keep up. @goodfellow_ian ?— Timnit Gebru (@timnitGebru) Febru
畳み込みニューラルネットワークの最新研究動向 (〜2017) - Qiita
昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は，生物の脳の視覚野に関する神経生理学的な知見1を元に考案されたNeocognitron2に見ることができる．Neocognitronは，特徴抽出を行なう単純型細胞に対応する畳み込み層と，位置ずれを許容する働きを持つ複雑型細胞に対応するpooling層とを交互
東京大学、機械学習を用いて0.5秒後の人間の動きをリアルタイムに推定する体動予測システム「Computational Foresight」を論文にて発表
東京大学、機械学習を用いて0.5秒後の人間の動きをリアルタイムに推定する体動予測システム「Computational Foresight」を論文にて発表 2017-11-17 東京大学 篠田・牧野研究室の研究者らは、機械学習を用いて0.5秒後の運動をリアルタイム推定する体動予測システム「Computational Foresight」を提案した論文を発表しました。 Computational Foresight: Forecasting Human Body Motion in Real-time for Reducing Delays in Interactive System 本稿では、Kinectを用いて人間の動きを測定し、ニューラルネットワークを用いて、リアルタイムに0.5秒後の人間の動きを推定し出力するシステムを提案します。 提案システムは、人体の動きをリアルタイムに推定するため
IBIS2017の聴講ログ - yasuhisa's blog
今年で20周年のIBIS2017に仕事で聴講参加しました。IBISは意外と初参加。とにかく大量の発表があり、全部書いてると膨大になってしまうので、自分のアンテナに引っ掛かった研究についてのみログを残しておきます。問題設定やモチベーションを重点的にメモしており、理論面は嘘を書いている可能性が高いので、気になる人はそれぞれの論文を読むといいと思います。 IBIS2017 | 第20回情報論的学習理論ワークショップ, 2017.11.8〜11, 東京大学 本郷キャンパス Learning from Complementary Labels (NIPS 2017) Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data (ICML 2017) 音声対話アシスタントに関する最近の研
新規アプリケーションへの深層学習適用のベストプラクティス - Qiita
どのようにサービスにディープラーニングを適用すればいいか、ベストプラクティスがまとまっていた論文があったので、訳してみました。 元論文 Best Practices for Applying Deep Learning to Novel Applications Leslie N. Smith https://arxiv.org/ftp/arxiv/papers/1704/1704.01568.pdf アブスト このレポートは、特定のドメインのエキスパートだがディープラーニングに詳しくない人向け ディープラーニングを試してみたいと思っている初心者のための経験的なアドバイス フェイズを分割することで、マネージメントしやすくすることを薦めている 各フェイズごとに、新規学習者へのおススメと知見を含んでいる イントロダクション ディープラーニングの研究してるから、ディープラーニングのアプリケーショ
AIは医療分野にどのような変化をもたらすか - Preferred Networks Research & Development
AIの分野で深層学習を中心とした大きな変革が起きているのと同時に、バイオテクノロジーの分野でもゲノムシーケンサやゲノム編集など革新的な科学技術が登場しています。 この二つの革命を融合させて生命の仕組みを理解し、未来の医療へとつなげていく動きが世界中に起きています。こうした動きを俯瞰した上で、私達がAIの技術を医療分野にどのように活用していくかについて以下の特集記事で述べています。基本的に、生体メカニズムはとても複雑であり、人間が全ての生命現象を正確に把握するのは困難です。バイオテクノロジーとAIの力を組み合わせることで、解明を進められると考えています。是非ご覧いただき、ご意見などいただければと思います。 「AIは医療分野にどのような変化をもたらすか」 岡野原 大輔、大田 信行 国際医薬品情報 2017年2月27日 第1076号 潮流 [pdf] （発行元の国際商業出版株式会社様に転載許諾を
Deep Forest :Deep Neural Networkの代替へ向けて - Qiita
技術動向についていくことは多くの労力を必要とする。次々に新しい論文が発表されるためだ。 一方で最新論文さえも長年の地道な積み重ねの上にあることを、その引用文献から気付かされる。 ディープラーニングブームの流れも変わるのだろうか？ 勉強のため、2017年2月28日付けでarXivに投稿されたZhi-Hua Zhou, Ji Feng「Deep Forest: Towards An Alternative to Deep Neural Networks」を翻訳した。 訳には誤りがないよう注意を払いましたが、完全であることを保証できないため、実装等の際には元論文を参照願います。 原文： Deep Forest: Towards An Alternative to Deep Neural Networks https://arxiv.org/abs/1702.08835 https://arxiv
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
「異常検知と変化検知」 輪読会 第11章 密度比推定による異常検知 http://connpass.com/event/35625/ LT 資料Read less
Deep LearningとNLPの最新論文の情報を集める方法 - あおのたすのブログ
(5/29 追記：Deep Learning のGoogleグループコミュニティを追加) (6/8 追記：松尾研究室の勉強会ページを追加) (6/13 追記：neural language notesを追加) はじめまして。@aonotas（あおのたす）です。 Deep Learningと自然言語処理に興味があります。 好きなフレームワークはChainerです。 さて、Deep Learningが自然言語処理のタスクでも応用されています。 ACLやEMNLPなど国際会議でもタイトルに「Neural」が入ったものが多いですが、arxivにも査読前の論文がよくアップロードされています。 （スピードが早くて追いつくの大変ですよねorz） そこで最新のDeep Learningの論文の集め方を紹介したいと思います。（あくまで私個人の方法です。皆さんどうしてるか教えてもらえると嬉しいです。） 面白い
クラスタリングの不可能性定理について - Qiita
背景 機械学習の手法のひとつであるクラスタリングは、データの特徴により分類を行います。クラスタリングには様々な手法がありますが、その多くは距離関数を利用して有限個の点を分類します。 昨今、IT業界で機械学習がブームになっていますが、クラスタリング手法の能力について、理論的な視点からあまり言及されていないのではないかと思います(あくまでも、IT業界内の話)。利用している手法で「できること」だけでなく、「できないこと」をハッキリさせるのも重要なことだと思います。実際、Kleinbergさんの論文1などで、クラスタリングの能力・定式化について研究されています。 Kleinbergさんの論文1では、クラスタリングの特徴の中からスケール不変性、豊富性、一貫性を取り上げ、3種すべてを満たすクラスタリングは存在しない、という定理が示されています。これをクラスタリングの不可能性定理(Impossibili
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging
IEICE Trans - 物体認識のための畳み込みニューラルネットワークの研究動向
https://www.slideshare.net/DeepLearningJP2016/dlneural-ordinary-differential-equations
論文読んだ「Learning Classifiers from Only Positive and Unlabeled Data」