はてなブックマーク

はじめに EfficientNet: Rethinking Model Scaling for Convolutional Neural Networksを読んだのでメモ．より良いbackbone networkであるEfficientNetを提案．感覚的に持ってたモデルの深さと幅，入力に関する解像度とモデルの精度間の関係をいくつか実験的に検証して面白かったのでまとめる． Problem Formulation まず問題の定式化から入る．ある番目の畳み込み層の入出力関係を次のように定義する． これを多層化した最終的なモデルはと表現する．あるベースラインモデルに対し，モデルの深さ，チャネル数，入力の解像度の3つを探索のパラメータとして次のような最適化問題を解くのが目標． などハットのついた変数は初期のベースラインモデルのパラメータを表す． Scaling Dimensions 各変数とモデル

はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ．PyTorchで実装もしました．実装の話はこちら． 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で，最近はそれなりのラベルデータがあればsupervisedに匹敵する性能がでる．ただ，実世界の設定に対してSSLはちゃんと機能するのかというのがこの論文が問題として提案しているところ．そこで実世界の課題に対してSSLのアルゴリズムが機能するかを評価可能な新しい実験方法を提案するという論文．実験を行う上で実際以下の様な発見があったとのこと． ・同一構成のモデルに対してラベル有りのみを使った場合とラベルなしも使った場合の性能差が報告よりも小さい． ・強力な正則化をかけてラベル有りのみで学習され

はじめに Gumbel Max Trickについて勉強したからメモ． Gumbel Max Trickのお気持ちとしてはカテゴリカル分布から効率よくサンプリングしたいというもの(多分。。。)． 言ってしまえばカテゴリカル分布におけるreparameterization trick． accept-rejectアルゴリズム カテゴリカル分布からの基本的なサンプリング方法の一つにaccept-rejectアルゴリズムがある． カテゴリカル分布のパラメータ（各カテゴリがサンプリングされる確率）をとする．と{} を一様にサンプリングし，の時にを返し，の時にはまたサンプリングを繰り返すというもの．である限り二つの変数をサンプリングし続けなければならないから効率がわるい． Gumbel Max Trick Gumbel Max Trickでは標準Gumbel分布からカテゴリの数だけサンプリングを行い，