はてなブックマーク

Label propagation (ラベル伝播アルゴリズム) は半教師あり学習モデルの基本的な手法のひとつです. こいつを Pregel のオープンソース実装であるところの Apache Giraph で実装しました. ref: https://github.com/smly/java-Giraph-LabelPropagationLabel propagation algorithm は半教師あり学習モデルの基本的な手法のひとつです. 少量の vertex に class label が割り当てられた状態で, グラフ上の unlabeled な vertex に class label を割り当てることができます. 自然言語処理でよく活用されていて, どのくらい活用されているかというと, 今年の自然言語処理のトップカンファレンスである ACL のベストペーパーでも使われましたし, PF

ref: http://portal.acm.org/citation.cfm?id=1582723大規模グラフ処理フレームワーク Pregel の論文を読み, BSP (Bulk Synchronous Parallel) モデルで実装したいグラフのアルゴリズムがいくつかあったのでオープンソース実装を探してみた. GoldenOrb, Phoebus, HAMA (汎用的なBSP model), そして Bagel などいくつかの実装があるようで, GoldenOrb は Java, Phoebus は Erlang で実装されており, Bagel は Scala で書かれている. Bagel は Spark 上で動くシンプルな実装 (たったの 150 行程度) で, 大規模なタスクに対してもスケールする運用が可能に思えたので Bagel を使ってみることにした. (Phoebus は

株式会社はてなにエンジニアとして入社しました. 同時に奈良先端科学技術大学院大学の博士後期課程に進学しました.私はエンジニアリングが大好きで, 大学院で研究がしたいと考えるようになったのも, それが大きく影響しているのだと思います. 小さなエンジニアリングの積み重ねによりサービスの品質を上げ, この便利なサービス(機能)は中でどのような仕組みになっているのだろう, と言わせたいです.また, 大学院で身につけた専門分野の知識をディスカッションなどを通じて役立てることができたら幸いです. そしていずれは社内で「自然言語処理と機械学習のことなら俺に聞け」と言えるようになれたらいいですね....ところで, 入社の前日が論文締切りだったことも手伝って, 初日からさっそく居眠りをしてしまいました. ごめんなさい.

PRML, pythonhttp://atnd.org/events/4958PRML読書会復習レーン発表の割り当てがここだったので, テキストにあるアレコレを実装してみる. 基底関数の図の表示, 正則化項を別の視点で図示, Ridge regression と Lasso regression の比較と荷重減衰の確認などをした. Lasso regression では QP を解く必要があるのですが, Haskell で QP 解くためには何使うのがいいんでしょうかね. 調べるのが面倒だったので, 今回は Python の cvxopt を使った. 基底関数3つの基底関数, 多項式とガウスとロジシグ*1の形を見る. PRML にある図(fig3.1)より若干細い形になっている. これは s の値で決定できる. from pylab import * x = linspace(-1, 1,

This plugin allows you to include a clear math rendering in a page like this: ~~~ {.dvipng} \nabla \times \bm{V} = \frac{1}{h_1 h_2 h_3} \begin{vmatrix} h_1 e_1 & h_2 e_2 & h_3 e_3 \\ \frac{\partial}{\partial q_{1}} & \frac{\partial}{\partial q_{2}} & \frac{\partial}{\partial q_{3}} \\ h_1 V_1 & h_2 V_2 & h_3 V_3 \end{vmatrix} ~~~ enjoy!.......gitit とは git でページやファイルを管理する wiki プログラムで, Haskell で書かれて

講義資料読み+宿題を終らせた. 今後もっと本やら論文やらを読みまくって修士での研究テーマを早めに明確にしていきたい. 前回に続いてまた「リンク解析とその周辺の話題」を読んだ記録(三日, 四日目)ですが, 内容についてはスライドを読めばわかるので, その補足的なことのみを記述します. しかし調子に乗って定理の証明をしようとしてうまくいかなくて悶絶. von Neumann カーネルと正則化ラプラシアンの比較ができたのでよかったですが, それくらいしか内容ありません:(なおプログラムは gists の埋め込みなので LDR や fastladder からは読めません.*1 証明やプログラムに誤りなどがあれば指摘していただけると助かります. おしながきスライドの訂正: 三日目 54ページの指数拡散カーネルを展開したところ von Neumann kernel による重要度と正則化ラプラシアンによ

NAIST の入学手続を終えた. 残りの期間はサーベイするぞーということで shimbo 先生の講義資料「リンク解析とその周辺の話題」を読んでいます. 一日目, 二日目の資料は PageRank, HITS, SALSA などの重要度尺度の紹介と, von Neumann Kernels と HITS の関係についてのお話が中心. これらを実装してみた. 後半に進むほど力尽きて記述が適当になってます:)PageRankポイントはランダム遷移行列による random walk では定常分布に収束しない (エルゴード性 (ergodic) を満たさない) という点. どうして満たさないかというと. sink (出次数のない節点) が存在するとき, 明らかに既約 (irreducible) でないのでエルゴード性を満たさない. 複数の強連結成分を持つケース => 周期性を持つと考えてよい? 周期

日誌京都には美人が多いーかどうかは定かではありませんが. はてなにインターンとして勤務するため, 一ヶ月ほど*1京都に滞在することになりました. 行けることが決ってからの一週間, リャマにアルパカにサイ*2の途中までを予習していざ参加と意気込んでいたわけですが, Perl のコードに慣れないこと慣れないこと. 毎回, 課題を夜遅くまでやっていたのは今では良い思い出であります.はてなインターンでは, 前半二週間で自社製フレームワークや大規模データを扱うためのノウハウを学びました. 一ヶ月の折り返し地点で, はてなより評価をいただき, 後半二週間もはてなでインターンを続けることができるのかを審査されるのですが, なんとかギリギリの評価で後半二週間もはてなでコードを書き続けることができるようになりました. わーい. いまはチームに配属して, 担当部分のコードをがりがりしてるところです. 必要に応

AlgorithmSpectral Clustering の妥当性ってどんなとこから来るんだろうかという疑問から Yale 大の Spectral Graph Theory and its Applications の講義資料を読みはじめたが, 当初の目的を忘れて単純にグラフの Laplacian からどのようにしていろんなことが言えるのかを見てたりしてる. Spectral Graph Theory はちょくちょくグラフ構造から来るものでない行列のスペクトルについて考えるので, グラフ理論の話から直感的に結論が得られることを説明するのは難しいそう.資料の Lecture 1, 2 は視覚的にSpectral Graph Theory から意義のあるものが得られることを実際に例を用いて確認させた後, 実際にラプラシアン行列から得られることを見ていきます. 資料がどのようなことを述べているの