はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Importance Weighted Autoencoders 最近、深層生成モデルに興味あるのでICLRにも採択されていたIWAE(Importance Weighted Autoencoders)の実装をTensorFlowで行いました。ついでにBengio達の書いたDeepLearning本の20章(Deep generative models)を一部まとめました。 深層生成モデルとは？ 深層生成モデルが何かと言われる難しいですがおそらくNeural Networkを使った生成モデルです。 Bengio本にも書かれていますがDe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? IndianBuffetProcessと潜在特徴モデル IBP(Indian buffet process)を使って潜在特徴モデルの実装を行います。 モチベーション IBPを使って潜在特徴モデルの実装を行うことが目的です。まずここでいう潜在特徴モデル(線形因子モデル?)の説明をするためによくあるレコメンデーションの例を使います。 まず人を縦、映画の種類を横とする行列(X)があるとします。(成分は(i,j)はiによるjの評価だとする)このとき下のようにX=UVとうまく分解することによって潜在特徴を知ることができます。 例えば潜在特徴として

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ノンパラメトリックベイズ入門 ノンパラメトリックベイズのことを最近勉強したので頭の整理もかねてまとめてみました。 特に専門でもないので間違いがあったら指摘していただけると助かります。 モチベーション ノンパラメトリックベイズは簡単に言えば無限次元のベイズモデルです。（パラメータがない訳ではないです）理論自身はかなり前からもう既に大体出来ていて2000年代になってから機械学習の文脈でそれが使えるってなってきたらしいです。 例えばクラスタリングをするとき普通、混合数を指定します。しかしノンパラメトリックベイズでは一旦、無限個のクラスターがあ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ベイズ最適化入門 最近ちらほらベイズ最適化について聞くのでまとめてみました。 特に専門でもないので間違ったことが書いてあったりするかもしれませんがもし発見したら指摘して頂けると助かります。 ベイズ最適化のモチベーション 世の中、実際に実験することが面倒くさいものはかなり多いです。なので計画的に実験をデザインしたくなります。 そこで実験するたびに今までの実験結果に基づいて"ベイズ的に"次の実験をデザインするのがベイズ最適化です。 実際使われている分野としては例えば 広告(どのようにA/B testするかとか) 生物学(良さそうなDNAを決

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Goodfellow,Bengio,CourvilleさんのDeep Learning本の18章まとめ 重要と思った部分だけ独断で抽出しています. 本当にメモ書き程度です. すみません. 間違っている記述があるかもしれません. 心眼で書いている部分があるかもです. Score matchingのくだりは正直よくわかっていないです. 18.Confronting the Partition Function 16章でやったように(無向グラフィカルモデルとかでは)規格化されていない確率分布がよく現れる. このとき規格化するためには積分をする