すべてがFになる，映像化するみたいですね．犀川創平も西之園萌絵も配役がイメージと違って一部で話題になっていました．さて，最近テンソル分解を使った論文をよく見かけるのですが，いまだにきちんと整理できずにいます．テンソルかわいいよ，テンソル． そこで，まずは行列分解(matrix factorization, matrix decomposition)を整理してみようと思います．行列の分解手法というと線形代数的な観点からは簡単に思いつくだけでも 固有値分解 LU分解 コレスキー分解 などがありますが，これらは分解前の行列と分解後の行列が一致する(たとえばA=LU)方法です．一方で，機械学習やデータマイニング界隈（特にレコメンデーション等）で出てくる行列分解というのは，大規模データや関係性データの中から低ランクの構造を抽出することや次元圧縮を目的としています．なので，正確に言うならば，行列分解と

MLaPPアドベントカレンダー12日目という下書きが下書きエントリにずっと入っていてそろそろ腐敗し始めているため，きまずくてブログが更新できない昨今です．MLaPPアドベントカレンダーは2年越しの計画という言い訳を思いついているので，今年の年末にがんばりたいですね…． さて，学生さんへの紹介用にICML2014のLearning Latent Variable Gaussian Graphical Modelsの説明スライドをつくったので，ブログにのっけておきます．細かい話は一切書いてないですが，そこらへんは論文を読んでください． Learning Latent Variable Gaussian Graphical Models from harapon ICML2014で面白そうだと思った論文は Joint Inference of Multiple Label Types in La

ロジスティック回帰の章まできました．このあたりは自分は結構よく知っていることもあり（読む時間もないし…），まとめ方は雑になってます．多くの本では，ロジスティック回帰の説明がなされている章で大抵ロジスティック回帰そのものよりも非線形最適化の話に注力されていることが多いのですが，この本も例外ではなく，ロジスティック回帰のパラメータ推定のための方法論に多くの内容が割かれています．この手のモデルのパラメータ推定をしようとしていてHessianがお亡くなりになった経験がある方は多いと思うのですが，その手の詳しい人は特に読む必要はない印象です．むしろ次の章の一般化線形モデルの章の方が多くのモデルの関係性が記述されているので，そちらの方が見通しがよくなると思います． Introduction この章は識別モデルのアプローチ 生成モデルと比較して直接的にをモデル化 Model specification

なんとか7日目を迎えることができました．1週間というのは長いものです．しかし，これでまだ1/4の章．しかも簡単な部類の章ばかりなので，MLaPPこわい．ということで線形回帰の章です． Model specification 線形回帰モデル の代わりに非線形関数を用いてもモデル化できる これは基底関数拡張(basis function expansion)と呼ばれる 簡単な例として多項式基底 Maximum likelihood estimation (least squares) 一般にMLEを計算することでパラメータを推定する 訓練データはi.i.d.と仮定しているので対数尤度は 対数尤度最大化は負の対数尤度最小化であり， ここで，RSSはresidual sum of squaresを意味し， これをNで割るとmean squared error (MSE)となるので，これを最小にする

というわけで，昨日はベイズ統計でしたが，本日は頻度論的統計の章です．頻度論から統計学を知った身としては，頻度論の問題点を指摘されているのは自分の黒歴史を見つめているようで悲しい気分になります…．とはいえ，最近は完全に発想がベイジアンになっているのですが． 頻度論統計のベイズ統計の一番の視点の違いは最初にも書かれているように，頻度論はパラメータが固定（真のパラメータがある），データはそこからサンプリングされたに過ぎない（ランダムでありうる）と考えているのに対し，ベイズ統計はデータは固定（だって目の前にデータがあるじゃん！），パラメータはランダム（事前分布などに応じて変わりうる）と考えています．これらの違いを意識すると，どっちの立場の話もすっきりするのではないでしょうか． Sampling distribution of an estimator 頻度統計ではパラメータ推定値はestimato

5日目になってベイズ統計の章に入ってきました．ベイズの定理を用いたベイズモデリングや，そこまで詳しく触れられませんが古典的ベイズ，階層ベイズ，経験ベイズの違いがわかるといいと思います．また，次の章では頻度論的な話になっているので対比してみると理解が深まるように思います． Summarizing posterior distributions 事後分布は未知量に関して知っていること全てを要約 MAP estimation 未知量に対する点推定は事後分布の平均や中央値などで計算 このアプローチは計算しやすいが，MAP推定には様々な欠点があることを把握しておくのは重要 これは後半に続くより徹底的なベイズアプローチのモチベーションになっている No measure of uncertainty MAP推定を含む任意の点推定は不確実性に対する指標がない Plugging in the MAP est

12月ですね．そういえば昨年ベイズ統計分析ハンドブックに関するエントリーを書いたところ，ホッテントリに入って大量のアクセスを頂きましたが，誰一人としてアフィリエイトで買う人間はおらず，やはり薦める本を失敗した！と後悔し続けた2013年です． 皆様から注目を頂いたベイズ統計ハンドブックですが，やはり1047ページ，28,000円という物理的にもお財布的にも鈍器のように優しくない本を購入する人間はいないということがわかったので，今年はもっとみんなが興味があり，かつ手に取りやすい本をご紹介したいと思います．そこで，MLaPPです．MLaPPとはMachine Learning: a Probabilistic Perspective（著者ページ）というタイトルで，全28章にわたって，Machine Learningを概説している本であり，PRMLと同じくらい注目されても良い本ではないかと個人的に

Goel, G., Mirrokni, V. and Leme, R. P., Polyhedral Clinching Auctions and the Adwords Polytope, 44th ACM Symposium on Theory of Computing (STOC 2012). Google の2012年excellent paperが挙げられていて，その中にオークション理論の論文があった．Machine Learningと異なり，オークション理論，メカニズムデザインは自分の専門分野の一つなので，かいつまんで紹介してみる．あまり厳密な数学的記述は行わず，わかりやすさ重視で説明してみたい． まず，オークションに関する多くの誤解を解いておきたい．オークションというとある品物（財）を高く売りつける方法，または（ヤフオクのように）いらないものを処分する方法と実用上，捉えられが

論文のpdfはここ 概要 TwitterやFacebook，FoursquareやGoogle+などのソーシャルネットワークサービスによってロケーションセンサーやジオタグが安価に利用可能になっている．この論文は地理情報とメッセージ内容の生成モデルを提案する． 既往研究のように予め定義(たとえばメッシュなどで)することをせず，本研究のモデルは自動的にコンテンツ上の階層構造と地理的位置情報上のサイズと位置上の階層構造を推論する．これによりかなり精度が向上した（過去のベストな結果よりも40%以上エラーが減少した） この結果は新しい統計モデル nested Chinese Restrant Franchise (nCRF)を提案することで達成した．多くの統計的構造はユーザー間でシェアされている．つまり，各ユーザーは興味と場所において自分自身の分布を持っている．nCRFを用いることによって，次のよう