それが僕には面白そうだったから──中谷秀洋 - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのエンジニアを紹介するインタビューシリーズの第三回。今回は知る人ぞ知る、中谷秀洋。大学院まで進んで数学を修めたものの研究者になるでもなく、気がついたらサイボウズ・ラボに腰を落ち着けることに。ただ一貫してるのは「面白そう」。 中谷秀洋（Shuyo Nakatani） 2007年、サイボウズ・ラボ株式会社に入社。 小学校5年生のときに懸賞で当選し「TRS-80」を入手して以来、ゲームを動機にプログラミングにのめり込む。40代を迎えた今もゲーム好きは相変わらずで、家族からは「ゲームは1日30分」と言われているとか。gihyo.jpにて「機械学習 はじめよう」を連載中。 Apache Foundationからリリースされている全文検索システム「Solr」には、言語判定ライブラリとして「Cybozu language-detection library」が含まれている。これを開発したのが、
PRML 10章の変分ベイズによる混合ガウス分布推論の検証（フォロー編) - 木曜不足
「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくてもいいよ』とか書いてあるけど全然縮退しないよ。ベイズ職人でないとうまくいかないらしいよ」 「初期値について『対称性から、通常 m_0=0 とおく』と書いてあるけど、ほんとに m_0=0 にしたら、全パラメータが k に対して同じ値になっちゃうよ」 と言いふらしていたら、スクリプトのバグだった。 ので、罪滅ぼしにまじめにもうちょっといろいろ検証してみたよ、というお話。 経緯 変分ベイズ実装(PRML 10.2) https://shuyo.hatenablog.com/entry/20100306/variatio
EM アルゴリズム実装(勉強用) - 木曜不足
最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん…… というわけで、Old Faithful の混合正規分布での推論を K-means と EM と変分ベイズについて、Ｒで実装してみる。 K-means Old Faithful + K-means については、すでに 前回の記事でお試し済み。 その記事では、イテレーションを１行で書いてネタっぽくしてしまってたので、わかりやすく整理したのが以下のコード。 距離を取るところは少し変えて短くしてある。 # Old Faithful dataset を取得して正規化 data("faithful"); xx <- scale(faithful, apply(faithful,
変分ベイズ実装(PRML 10.2) - 木曜不足
「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハイパーパラメータにも事前分布を導入(ここが「ベイズ」) 隠し変数＋ハイパーパラメータ間に、「適当な独立性を仮定」して排反なグループに分割し、それぞれ任意の分布を想定(ここが「変分近似」？？？) 個々のグループごとに、対数同時分布の事後期待値を最適化(ここは EM と同様の枠組み) ということだろう、と理解したつもりだが、実感として掴めない。「排反なグループに分割」って漠然と言われてもなあ。 例によって、言葉を定義せずに使うし。「変分近似」って、何ね？ 毎度ながら、こういうときは手を動かすに限る。 明日の PRML 読書
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
