深層距離学習は本当に「大躍進」しているのか？近年の研究をリアルに評価し直す論文！
3つの要点 ✔️ 深層距離学習は過去4年間で大幅な精度向上を主張してきたが、実験設定に誤りがあるためそれは疑わしい。 ✔️ 比較方法がアンフェアであること、テストデータのフィードバックを訓練に利用していること、精度を測る指標の脆弱性の三つが問題。 ✔️ 距離学習アルゴリズムを評価するための新しい手法を提案し、実際にその評価方法でアルゴリズムを比較し、近年の「大躍進」が実はささやかなものに過ぎないことを示す。 A Metric Learning Reality Check written by Kevin Musgrave, Serge Belongie, Ser-Nam Lim (Submitted on 18 Mar 2020) Comments: Published by arXiv Subjects: Computer Vision and Pattern Recognition (
ディープラーニングの判断根拠を理解する手法 - Qiita
ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua
AutoML vs 俺 －真剣二番勝負－ - Qiita
※こちらは塩尻MLもくもく会 #13の発表資料です。 タイトルは大げさに書いております。 先日、機械学習プロセスの自動化を行う「AutoML」の紹介記事が公開されました。 https://qiita.com/Hironsan/items/30fe09c85da8a28ebd63 そこで、本稿ではAutoMLと私を対決をさせてみました。 AutoMLとは イメージでいうと、ターミネーターのイメージネットみたいな凄いヤツです。 機械学習で面倒くさい作業（モデル選択、ハイパーパラメータのチューニング、特徴エンジニアリングなど）を自動でやってくれます。 詳細は冒頭に紹介した記事をご覧ください。 俺とは 私のことです。 Kaggleにも参加したことがない未熟者です。 一人ぼっちだと心細いので、今回はベイズ最適化という武器を使います。 ルール AutoML陣営 モデル選択とハイパーパラメータのチューニ
画像を扱う機械学習のためのデータセットまとめ - Qiita
マシンビジョン分野で、個人的に使ってみたい気になったデータセットをまとめました。実際に業務で使用する場合は各データセットのライセンス条項をよく確認してください。 英語で検索する場合は、datasets open data image processing machine learning 等で検索するといいと思います。 検索で引っかかったマイナーなものを重点的に調べました。 ImageNet 2009年のCVPRにてプリンストン大学のチームが公開したのがきっかけで発展した、1400万枚超の画像と意味を示すタグのデータセットです。100万枚ほどはバウンディングボックスのアノテーション付きです。 http://www.image-net.org/ タグを検索するとこのように画像の一覧と配下のキーワードが表示されます。これだけでも楽しい。 あまりに膨大な量なので一括ダウンロードはではなく、ダウン
Grad-CAMを使ったNLPモデルの判断根拠の可視化 - やむやむもやむなし
機械学習モデルの解釈性は業務で使う上ではなぜそのような予測を行ったかの判断根拠の可視化として、また学習させたモデルをデバックする際にどんな入力に反応して誤予測を引き起こしてしまったか分析する上で非常に重要な要素です。 画像分野ではGrad-CAMと呼ばれる勾配を使った予測根拠の可視化手法が提案されており、今回はその手法を使ってNLP向けのCNNモデルの判断根拠を可視化していきます。 実験で使用したノートブックはGithub上で公開しています。 github.com 機械学習モデルの解釈性 機械学習モデルに対する解釈性は近年では特に重要なトピックです。例えば 業務の自動化を機械学習で行う場合に説明責任が生じる DNNのデバッグをして性能改善を行いたい といったときに機械学習モデルの解釈性は必要になります。 機械学習モデルの解釈性についてはステアラボ人工知能セミナーでの原聡先生の資料がとても分
Grad-CAM、Grad-CAM++、Score-CAMを実装・比較してみた
あけましておめでとうございます。← 2020も頑張りましょう。 今回は表題の通り、画像系深層学習の判断根拠手法について、近年人気のある手法「Grad-CAM」と、その改良版「Grad-CAM++」、さらに去年論文発表されたばかりの「Score-CAM」を、TensorFlow/Kerasで実装・比較してみます。 データセットはKaggleのデータセットを使い、カーネルノートブックのGPUを使って深層学習させましたので、全コードはそちらを参照ください。 kaggle notebook: https://www.kaggle.com/itoeiji/visual-explanations-gradcam-gradcam-scorecam 一応ノートブックをアウトプットしてGitにも同じものをあげています。 GitHub: https://github.com/Gin04gh/datascien
日本一詳しくGrad-CAMとGuided Grad-CAMのソースコードを解説してみる(Keras実装) - Qiita
背景 今更ながらGrad-CAMとGuided Grad-CAMを使う機会があったので、Keras実装のメジャーっぽいリポジトリを改造して利用したのですが、結構詰まりポイントが多かったので(私だけ？)復習もかねてソースコードを解説しようと思います。 そもそもGrad-CAM, Guided Grad-CAMとは？ 簡単に言ってしまうと、CNNの判断根拠の可視化技術になります。 私は可視化については完全にビギナーなのですが、そんな私でも知ってるぐらい可視化の中ではメジャーどころなのではないでしょうか。 論文は2017に出されているので、おそらく発展手法(Grad-CAM++とか?)も沢山出ているとは思いますが、ビギナーなので情報の充実しているGrad-CAMを今回は使ってみました。 Grad-CAMの論文 見たことがあるかも知れませんがこちらがGrad-CAMとGuided Grad-CAM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
