昨日，CRFの更新式の導出を行ったけれど，@nokunoさんのご指摘で，僕が算数が出来ないことが世に広まったわけだけれど (誰も見てないから広まってないか)，普通の人が計算すれば昨晩の展開はもっとシンプルにできる．というわけで訂正版をアップすることにした． 元々僕の勘違いは，log(A+B) = logA + logBと展開していたミスによるものであり，log(A/B)=logA - logBは正しい． スタート地点からやり直す． は，log(分子) - log(分母)の形にできるので， となる．自分はここでlogをΣの中に入れてハマっていた． さて，こっからの微分は以前よりもっと簡単． 一項目は，そのままwが外れるだけだし，後ろの部分は対数の微分と合成関数の微分がわかっていれば一瞬で解ける． よって， はい終了． 昨日の式展開がどれだけ遠回りだったかということが一瞬でばれてしまう．べっ，

Finkel+2005, Incorporating non-local information into Information Extraction Systems by Gibbs sampling 最大エントロピーモデル ・素性値の経験分布での期待値とモデルによる期待値が一致するという制約 ・制約から対数線形モデルを導出 ・尤度関数の線形重みに対する勾配は閉じた式で書ける 正則化項を加える場合も、普通は微分可能なものを選ぶ（L1正則化なんか微分できない部分があるので一工夫が必要） ・勾配には、モデルによる素性値の期待値が含まれる モデルが複雑な場合（例:CRF）、期待値の計算の効率化が必要（DPなど）←ポイント！ 最大エントロピーモデルのパラメータ推定 ・尤度（＋正則化項）の最大化 ・勾配を使った近似解法 上記の勾配を使って、尤度を大きくするような方向に重みを調整していく ← 期待

今週は ACL という自然言語処理最大の国際会議がスウェーデンで開催されているのだが、自分は行かない(行けない)ので代わりに今日の勉強会では Thomas Lavergne, Oliver Cappé, François Yvon. Practical Very Large Scale CRFs. ACL-2010. (to appear) を読んでみる。 CRF というのは形態素解析(分かち書き、品詞タグづけ)や固有表現抽出でよく使われるアルゴリズムで、タグをつけるために使う情報(素性)を柔軟に設計できたり、それまでの理論の発展系になっていたり、近年これらのタスクではほぼデファクトスタンダードとして使われている技術である。 しかしながら、CRF は計算量が重い(出力するタグの数に依存)という欠点があり、これを回避する方法がいくつか知られているのだが、この論文の貢献は(しょぼいと言えばその

今日はちょっと時間がなかったので男女共同参画室のランチミーティングはそこそこに抜けさせてもらう。在宅勤務ができるかどうかの調査を頼まれたのだが、調査期間になっている7月18-31日のうち、半分以上休暇を取る予定なのだけど……。 まあ、自分に関しては、大学での仕事のうち、在宅勤務が不可能なのは勉強会出席くらい。うち、毎週出席する必要がある(自分以外に毎週出るスタッフがいない)勉強会は2つ、これとは別に研究室全体のミーティングがあり、それぞれ2-3時間程度なので、合算すると週9時間程度。現在全部別々の曜日にあるが、まとめると週2-3日勤務までは短縮できると思われる。個別のミーティングであれば、どうしても必要なら Skype を使えばいいし。(そもそも「在宅」と言われても歩いて5分のところに家があるので、在宅でやる意味はないのだけど)　いや、なんとなれば勉強会も Skype で中継してもいいし…