タグ

2019年9月25日のブックマーク (7件)

  • 機械学習プロフェッショナルシリーズ輪読会スライドまとめ - Qiita

    機械学習プロフェッショナルシリーズ輪読会の発表スライドをまとめたページです。 随時更新します。 機械学習プロフェッショナルシリーズ輪読会 Conpass URL: http://ml-professional.connpass.com 1冊目:「深層学習」 2冊目:「異常検知と変化検知」 #1「深層学習」編 http://bookclub.kodansha.co.jp/product?isbn=9784061529021 正誤表 chapter 1: はじめに @a_macabee http://www.slideshare.net/beeEaMa/chapter-01-49404580 Chapter 2:順伝播型ニューラルネットワーク @a_macabee http://www.slideshare.net/beeEaMa/chapter-02-49488411 Chapter 3:確

    機械学習プロフェッショナルシリーズ輪読会スライドまとめ - Qiita
    mnru
    mnru 2019/09/25
  • Matrix Inversion Identities

    Matrix Inversion Identities Ged Ridgway Centre for Medical Image Computing University College London November, 2006 Summary Two simple matrix identities are derived, these are then used to get expressions for the inverse of (A + BCD). The expressions are variously known as the ‘Matrix Inversion Lemma’ or ‘Sherman-Morrison-Woodbury Identity’. The derivation in these slides is taken from Henderson a

    mnru
    mnru 2019/09/25
  • シューア補行列 - Wikipedia

    線型代数学関連分野におけるシューア補行列(シューアほぎょうれつ、英: Schur complement; シューア補元)は区分行列に対して定義される。名称はイサイ・シューアがシューアの補題の証明に用いたことに由来するが、それ以前からの使用が認められる[1]。これを Schur complement と呼び始めたのはエミリー・ヘインズワースである[2]。シューア補行列は数値解析 (特に数値線形代数) や統計学、行列解析の分野では主要な道具の一つとなっている。 行列 A, B, C, D のサイズをそれぞれ p × p, p × q, q × p, q × q として区分行列 を考える。全体として M は (p + q) × (p + q) 行列になっている。以下項で M と書けば断りなくこの区分行列を意味するものとする。 D が正則であるとき、区分行列 M の区画 D に関するシューア補行

    mnru
    mnru 2019/09/25
  • Woodbury matrix identity - Wikipedia

    In mathematics, specifically linear algebra, the Woodbury matrix identity – named after Max A. Woodbury[1][2] – says that the inverse of a rank-k correction of some matrix can be computed by doing a rank-k correction to the inverse of the original matrix. Alternative names for this formula are the matrix inversion lemma, Sherman–Morrison–Woodbury formula or just Woodbury formula. However, the iden

    Woodbury matrix identity - Wikipedia
    mnru
    mnru 2019/09/25
  • https://codeday.me/jp/qa/20190107/95861.html

    mnru
    mnru 2019/09/25
  • ベイズ最適化の数学 - Qiita

    はじめに (2019/10/01)@erosionさんに指摘して頂いた箇所を追加しました MLPの「ガウス過程と機械学習」の方を読むことをおすすめします。 1週間前にDeepMindからBayesian Optimization in AlphaGo が発表されたばかりです. 論文ではベイズ最適化を用いてAlphaGoのハイパーパラメータを決定しています. 囲碁のように強い非線形性を持つ関数(今回はDNN)において,局所最適解に陥らないように大域的最適解を得ることは非常に難しいです. そこで,ベイズ最適化は非線形関数の最大値(もしくは最小値)を探索するのに役立ちます. 研究で使おうと思ったのでここでまとめたいと思います. 2日間で勉強した内容なので間違っていたら教えてください. おしながき ベイズ最適化とは & 全体のアルゴリズム ガウス過程回帰の更新式 ベイズ 条件付きガウス分布 ガウ

    ベイズ最適化の数学 - Qiita
    mnru
    mnru 2019/09/25
  • シンプルなベイズ最適化について | Research Blog

    みなさんこんにちは! 6月からAI Labに異動してきた野村(@nmasahiro_)と申します. 先月まではSparkで集計基盤を作ったりといったデータエンジニアリング業務に従事していましたが,現在は数理最適化の研究を行っています. 今回は機械学習手法のハイパーパラメータ最適化によく利用されているベイズ最適化について勉強してみたので,自分なりの理解をまとめておこうと思います. まだ勉強中の身ですので,もし気になる点などあればご指摘いただけると嬉しいです! はじめに Black-box関数最適化問題というのは,目的関数の代数的な表現,つまり,数式自体が与えられず,解に対する目的関数値のみを利用することができる問題です. 機械学習手法のハイパーパラメータ最適化などがBlack-box関数最適化問題の枠組みに属します.例としてDeep Learningのハイパーパラメータ最適化問題を考えた場合

    mnru
    mnru 2019/09/25