深層距離学習は本当に「大躍進」しているのか？近年の研究をリアルに評価し直す論文！
3つの要点 ✔️ 深層距離学習は過去4年間で大幅な精度向上を主張してきたが、実験設定に誤りがあるためそれは疑わしい。 ✔️ 比較方法がアンフェアであること、テストデータのフィードバックを訓練に利用していること、精度を測る指標の脆弱性の三つが問題。 ✔️ 距離学習アルゴリズムを評価するための新しい手法を提案し、実際にその評価方法でアルゴリズムを比較し、近年の「大躍進」が実はささやかなものに過ぎないことを示す。 A Metric Learning Reality Check written by Kevin Musgrave, Serge Belongie, Ser-Nam Lim (Submitted on 18 Mar 2020) Comments: Published by arXiv Subjects: Computer Vision and Pattern Recognition (
ニューラルネットワークの内部では何が行われている？
from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split import torch from torch import nn iris = load_iris() X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target) X_train = torch.from_numpy(X_train).float() y_train = torch.tensor([[float(x)] for x in y_train]) X_test = torch.from_numpy(X_test).float() y_test = torch.tensor([[float(x)] for x
PyTorch (6) Convolutional Neural Network - 人工知能に関する断創録
今回は畳み込みニューラルネットワーク。MNISTとCIFAR-10で実験してみた。 MNIST import numpy as np import torch import torch.nn as nn import torchvision.datasets as dsets import torchvision.transforms as transforms # Hyperparameters num_epochs = 10 batch_size = 100 learning_rate = 0.001 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(device) 今回からGPU対応した。PyTorchはKerasと違ってGPUモードにするために明示的にコーディングが必要。ここがちょ
画像認識の最新SoTAモデル「Noisy Student」を徹底解説！
３つの要点 ✔️ その１ ImageNetでTop-1 Acc. 88.4 %を叩き出し、SoTAモデル。おまけに高いロバスト性を兼ね備える。 ✔️ その２ Self-trainingにおいてStudentに強いノイズをかけ、反復的にTeacherとStudentを入れ変える。 ✔️ その３ TeacherおよびStudentのベースモデルはEfficientNet(解説)を使用し、EfficentNet-L2という拡張モデルでSoTA Self-training with Noisy Student improves ImageNet classification written by Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le (Submitted on 11 Nov 2019 (v1), last revised 7
ついに誕生！期待の新しい活性化関数「Mish」解説
3つの要点 ✔️ ReLU、Swishに次ぐ新たな活性化関数Mishを提案 ✔️ MNISTやCIFAR-10/100などでReLUとSwishを圧倒 ✔️ 論文筆者実装のGitHubレポは早速600以上のスターを持ち、非常に簡単に使える Mish: A Self Regularized Non-Monotonic Neural Activation Function written by Diganta Misra (Submitted on 23 Aug 2019 (v1), last revised 2 Oct 2019 (this version, v2)) Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Neural and Evolutionary Comp
2019年はBERTとTransformerの年だった | AI専門ニュースメディア AINOW
著者のManu Suryavansh氏は機械学習エンジニアとしてキャリアを積んだ後、2020年1月からAppleでデータサイエンティストとして勤めています。同氏がMediumに投稿した記事『2019年はBERTとTransformerの年だった』では、近年の自然言語処理の動向がBERTを中心軸としてまとめられています。 TransformerとBERTが発表される以前の自然言語処理モデルでは、時系列データを処理するRNNとその発展形であるLSTMが使われてきました。このLSTMには、構造が複雑になってしまうという欠点がありました。こうしたなか、2017年6月に発表された論文「Attentionこそ必要なすべてのもの」で論じられた言語モデルTransformerとAttentionと呼ばれる手法は、LSTMのような複雑な構造を使わずに高性能を実現したのでその後の言語モデル開発に大きな影響を与
Understanding Variational Autoencoders (VAEs)
This post was co-written with Baptiste Rocca. IntroductionIn the last few years, deep learning based generative models have gained more and more interest due to (and implying) some amazing improvements in the field. Relying on huge amount of data, well-designed networks architectures and smart training techniques, deep generative models have shown an incredible ability to produce highly realistic
Optimizerはどれが優れているか（ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNINGの紹介）
この記事の概要この記事は2019/10/11にDami Choi等がArxivに投稿した”ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNING ”という論文の紹介/解説記事です。この論文の要旨をまとめると下記のようになります。 SGD, Momentum,RMSProp, Adam,NAdam等の中から、どの最適化手法(Optimizer)が優れているかを画像分類と言語モデルにおいて比較した研究各Optimizerは以下の包含関係にあり、より汎用的なAdam, NAdam, RMSPropは、各Optimizerの特殊な場合であるSGDやMomentumに負けない実際に実験すると(メタパラメータをチューニングすれば)NAdam, Adam等が良かった。よって計算資源があれば、実務上はNAdam, Adam等で全メタパラメータをチュ
深層学習(勾配消失問題～CNN) - Qiita
※以下、個人的な勉強のためのレポートです。 ※間違い多々あると存じますが、現在の理解レベルのスナップショットのようなものです。 ※勉強のためWebサイトや書籍からとても参考になったものを引用させていただいております。 http://ai999.careers/rabbit/ ※書籍「ゼロからつくるDeep Learning」を参考にさせていただいております。 連鎖律の復習 連鎖律の原理を使い、dz/dxを求めてみる z=t^2、t=x+y ※合成関数の微分の多変数関数への拡張 https://ja.wikipedia.org/wiki/%E9%80%A3%E9%8E%96%E5%BE%8B 複数の関数が合成された合成関数を微分するとき、その導関数がそれぞれの導関数の積で与えられるという関係式 連鎖律とは，高校数学で習う合成関数の微分公式を多変数関数に拡張した公式。 例えば，2変数関数の場合
DNNの基礎知識についてのまとめ - Deep Learning 脱初心者めざして
深層ニューラルネットの訓練 今回は、深層ニューラルネットワーク(以下DNN)の問題点を挙げ、その解決法を示します。 深層ニューラルネットの訓練 勾配消失/爆発問題 勾配消失 勾配爆発 Xavierの初期値とHeの初期値 活性化関数 バッチ正規化 勾配クリッピング プレトレーニング済み層の再利用 転移学習 model zoo オプティマイザの高速化 Momentum最適化 NAG(Nesterov Accelerated Gradient) AdaGrad RMSProp Adam(adaptive momentum estimation) 学習スケジュール 正則化による過学習の防止 早期打ち切り l1, l2正則化 ドロップアウト データ拡張 実践的なガイドライン 勾配消失/爆発問題 勾配消失 勾配降下法による更新では下位層の接続の重みがほとんど変わらず、訓練が良い解に収束しなくなること
勾配消失問題と勾配爆発問題～原因と解決策～ | マサムネの部屋
パラメーター\( W_0 , W_1 , W_2 \)に注目してみます。 それぞれの行列の次元は、\( W_0 \)がデータ数×データ数 , \( W_1 \)が16×データ数 , [mathjax]\( W_2 \)が16×1 です。 パラメーターが行列なので、勾配も行列で出てきます。\( L^2\)ノルムを使って勾配の大きさを評価しましょう。ベクトルや行列の[mathjax]\(L^2\) ノルムは以下の式で定義されます。 $$\begin{eqnarray} \| X \|_{L^2} =\sum_{i,j} x_{ij} ^2 \end{eqnarray}$$ 50回パラメーターの更新を行います。勾配はL2ノルムで評価し、パラメーターは行列の要素を一つ決めて、どのように更新されていくか調べます。 \( W_0\) が10回の更新を待たない間にほぼ定数になっています。一度落ち着いてか
勾配消失問題とは？
ホーム < ゲームつくろー！ < IKD備忘録 VisualStudio + Pythonでディープラーニング 勾配消失問題とは？ (2019. 12. 5) 前章でKerasでデフォルトで使える活性化関数をざっと紹介しました。その中で度々「勾配消失問題がおこりやすい」などと解説を入れました。他のニューラルネットワークの解説サイトでも目にするこの「勾配消失問題（Vanishing Gradient Problem）」。いったいどういうものなのでしょうか？ ① 何時まで経っても賢くならない問題 ニューラルネットワークでは与えられた入力刺激値から良い感じの出力刺激値を出してくれるようにニューロンの働きを調節する必要があります。具体的には入力刺激に変化を与える活性化関数A(x)、その結果をスケールする重みwを調整します。活性化関数は基本学習前に手動で与える物なので使い手の自由ですが、各ニューロン
推薦アルゴリズムの今までとこれから
2018年3月29日開催 サイバーエージェントにおけるデータ活用とその技術についての勉強会「春の機械学習祭り 〜Data Engineering & Data Analysis WS#4〜」での登壇資料 （秋葉原ラボ所属 内藤遥） https://cyberagent.connpass.com/event/80969/Read less
【論文紹介】Collaborative Metric Learning (WWW2017)
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、協調フィルタリングとmetric learningを組み合わせたCollaborative Metric Learning (CML)の論文を読んで要点をまとめました。 ## 概要 従来の協調フィルタリングでは、内積によりuser-itemの交互作用を考慮することでuserの好みを潜在表現として獲得していたが、内積では三角不等式を必ずしも満たさないので、良い表現が得られない可能性があります。 本研究では協調フィルタリングとMetric Learningを組み合わせたCollaborative Metric Learning (CML)を提案し、user-userやitem-itemの類似度も考慮した空間に埋め込み、近似最近傍探索に応用することでto
Collaborative Metric Learningの関連研究まとめ - Qiita
はじめに 今回は、協調フィルタリング(Collaborative Filtering)とMetric Learningを組み合わせたCollaborative Metric Learning (CML)とそこから発展したいくつかの論文を読んだので、まとめていきたいと思います。 割と新しめな研究だからか、あまり日本語の記事がヒットしないなと感じました。 オンラインでの計算量が大きくて大変なところを近似的に解くことで高速化できるのは魅力的だと思うので、この記事を通して興味を持ってもらえたらと思います。 Metric Learningについてはほぼ初心者なので、何かありましたらコメントいただけると嬉しいです。 よろしくお願いします。 Metric Learningについてはこの辺りを参考にさせていただきました。 Deep Metric Learning の定番⁈ Triplet Lossを徹底解
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sound media signal processing and its applications
ニューラルネットワークと深層学習
AIを支える活性化関数 - "0"からAI~ふらっとどうぞ~
あれ？誤差がない・・勾配消失問題 - "0"からAI~ふらっとどうぞ~
GitHub - LiyuanLucasLiu/RAdam: On the Variance of the Adaptive Learning Rate and Beyond
