サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
都知事選
akichan-f.medium.com
この記事についてこの記事では、以下2つを解説します。 early stoppingと併用して学習率を適応的に変えていく手法をtensorflow2.xを使って実装する方法early stoppingと併用して、学習率の代わりにバッチサイズを適応的に変えて学習率減衰と同じ効果を得る手法の説明とtensorflow2.xその実装方法 学習率減衰とは?学習率減衰(Learning rate decay)は深層学習の汎化性能向上のためによく使われる手法で、学習がある程度進んだ場所で学習率を下げる手法です。下図にあるように、学習率を落とすと、急激に精度が向上することが知られています。 では、いつ学習率を減衰させれば良いのでしょうか?2020年7月現在では、学習がある程度収束してから学習率を1/10~1/5程度に減衰させることが多いように思います。論文を見ていると、よく使われるCIFAR10やImag
この記事についてこの記事は、データから物理法則を「発見」できる”AI Feynman”[1]の解説記事です。この手法の概要以下のようになります。 物理法則をデータから見つけるという研究。ポイントは、次元削減や無次元量へ分解、並進対称性で変数を除去する等によって問題を簡単にすること。Neural Neworkでデータのパターンを学習させ、validationデータで並進対称性等の仮説検証を行う。 問題設定ある物理現象に従うデータから物理法則を導くという問題設定を考えます。 物理法則とは何かというと、万有引力の法則のように質量等のシンボルで表せる等式のことです。データの中にある変数を使って、目的変数をうまく表現できるシンボル形式の数式を見つけます。 万有引力の法則例えば、2つの物体間での万有引力を表す数式を”発見”することを考えてみます。このときに使えるデータとしては、目的変数である万有引力の
この記事についてこの記事はGoogle Brain/Google Researchから発表されたAutoML-zero: Evolving Machine Learning Algorithms From Scratch[1]の解説です。 この論文の要点をまとめると以下のようになります。 既存のNASのように人手で作ったものの組み合わせを探索するのとは異なり、可能な限り人の介在によるバイアスを防ぐ。そのため、高校数学レベルの簡単な変換の組み合わせを進化的アルゴリズムで探索させる。進化的アルゴリズムを使って、それらの最適な組み合わせを探索する。学習させると誤差逆伝播や学習率減衰、勾配の規格化等を再発見できる。 Neural Architecture Search とはNeural Architecture Searchはニューラルネットでよく行われるAutoMLの1つで、ニューラルネットの最
Part 3 : GAN、実社会応用、その他分野(1/25までに投稿予定)Part 1では、下記5分野の合計27の論文を紹介します。この5分野や便宜上設定したものなので、所属分野に重複等があることをご了承ください。 画像分類/物体検知/CNN Layerの改良動画系タスク表現学習/蒸留データ拡張学習手法/目的関数/半教師あり学習 1. 画像分類/物体検知/CNN Layerの改良ここでは、画像単体に関するタスクである画像分類・物体検知に関する論文と、それに伴いCNN Layerの新しい構造の提案をしている論文を紹介します。画像分類は深層学習の最も基礎的なタスクの1つであり、ここで開発された手法が他の分野でも適用されて広がっていく事も珍しくありません。今年の最重要論文の1つはEfficientNetでしょう。EfficientNetの機構は物体検知にも適用され、その考え方は動画における行動検
この記事についてこの記事では、GANの基礎から始まり、StyleGAN、そして”Analyzing and Improving the Image Quality of StyleGAN “で提案されたStyleGAN2を解説します。記事の目次は以下の通りです。 1. GANとは?2. GANの評価指標— 2.1. Frechet Inception Distance — 2.2. Perceptual Path Length 3. StyleGAN— 3.1. Progressive Growing — 3.2. AdaIN — 3.3.StyleGANのネットワーク構造 — 3.4. Mixing Regularization 4. StyleGANの解析5.StyleGAN2— 5.1. 概要とkey insights — 5.2. StyleGAN2の画像生成手法 — — 5.2.
この記事についてこの記事に書かれている内容は以下の通りです。 Vikas Verma, Alex Lambらによって提案された中間層でMIXUP[1]をするManifold mixup[2]を紹介し、最終層でまぜるとより良い結果が得られそうだということを示します。実際にtensorflowで実装してみて、実際にそのような結果が得られるかを確かめました。 MIXUPとはMIXUPとはデータ拡張の手法で、2017/10/25にHongyi Zhangらによって提案されました。Beta分布からサンプリングした混合比率をもとに、入力・出力ともに混合させてデータ拡張を行う手法です。これを使うことで、決定境界が滑らかになるため汎化性能が向上すると言われています。 MIXUPの表式上の数式からもわかるように、既存のデータを混ぜ合わせたものを拡張データとして使います。簡単なデータを使ってMIXUPをしてみ
この記事についてこの記事では、大きなミニバッチで学習さえることの効力と、Tensorflow2.0を用いてメモリに乗り切らない大きなミニバッチを学習させる方法を紹介します。この記事に書いてあることは以下の通りです。 Tensorflow2.0を用いた標準的なモデル学習の方法大きなミニバッチで学習させることが効果的な場面各ミニバッチのGradientを積算していき、仮想的な大きなバッチのGradientでモデルを更新する方法今回使った実験のコードはGithubにアップロードしてます。 Tensorflow2.0の標準的なモデル学習の方法tensorflow2.0では、kerasのfitを用いた学習のほかに、gradient tapeを用いた学習方法がチュートリアルで提案されています。以下のコードはチュートリアル[1]からの引用です。 大きなミニバッチで学習させることが効果的な場面当然ですが、
この記事についてこの記事では物理学数値シミュレーションと機械学習を融合させた最近の研究を2つ紹介します。 1つ目の”Newton vs the machine: solving the chaotic three-body problem using deep neural networks[1]”という研究は、解析的には解けない三体問題のシミュレーションをDNNで近似することができ高速化できた、という研究です。 2つ目に紹介する”Hamiltonian Graph Networks with ODE Integrators[2]”は、質点の軌跡を次のステップとの差分を直接予測するのではなく、ハミルトニアンを介して予測すると高精度な予測ができた、という研究です。 Newton vs the machine: solving the chaotic three-body problem us
この記事の概要この記事は2019/10/11にDami Choi等がArxivに投稿した”ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNING ”という論文の紹介/解説記事です。この論文の要旨をまとめると下記のようになります。 SGD, Momentum,RMSProp, Adam,NAdam等の中から、どの最適化手法(Optimizer)が優れているかを画像分類と言語モデルにおいて比較した研究各Optimizerは以下の包含関係にあり、より汎用的なAdam, NAdam, RMSPropは、各Optimizerの特殊な場合であるSGDやMomentumに負けない実際に実験すると(メタパラメータをチューニングすれば)NAdam, Adam等が良かった。よって計算資源があれば、実務上はNAdam, Adam等で全メタパラメータをチュ
概要https://arxiv.org/abs/1906.08237 XLNetは2019/6/19に、”XLNet: Generalized Autoregressive Pretraining for Language Understanding”と題してArxivに投稿された論文です。一言(?)でいうと Transformer-XLを単語の順序を入れ替えた(元の順序情報は保持)もので学習させることで、自己回帰モデルで双方向の意味依存関係を取得できるようにしたと主張。20を超えるタスクでBERT超え。 といったところでしょうか。この記事では、背景となる関連技術も含めてXLNetの着想と技術について順々に説明していきます。 自然言語処理のタスク学習の流れと事前学習の種類深層学習を用いた自然言語処理は翻訳、QAタスク、文書分類など多岐にわたります。 深層学習でそれらのタスクを解く際は、タス
このページを最初にブックマークしてみませんか?
『Akihiro FUJII – Medium』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く