SMOよりも優れたアルゴリズムにSimple SVMというのがあるそうだ。SSVM : A Simple SVM Algorithmhttp://www.stat.purdue.edu/~vishy/papers/VisMur02b.pdf しかし、このアルゴリズムを理解してC#で実装したいんだけれど、なんだか論文がすごく難しくて挫折を繰り返してしまう。誰か素人でもわかるように教えてください(´･ω･`) 余談だけれど、このSimple SVMとやらは10回以下で収束するって書いてある。オンライン学習というのが研究されているが、オンライン学習はsimple SVMの10倍以下の高速化しか望めないし、解の質もよくわからないということなのかな？

Discriminative models, not discriminative traininghttp://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=998ずーーーーーーーーーーーーーっと前にこれを見て、読みたいなとは思ったものの、たかだかA4で1枚の文章を読む余力もなく、忘れていたのですが、ふと思い出して読んでみました。 Due to the model assumptions, the estimations of and 0 decouple, so the best is the same as in (3).ここまではOKなんですが、そっから先が理解できませんでした。具体的にはIt must be because a model of the form (5) fits

■博士課程卒業には5年必要 世の中には短縮卒業や、会社でサラリーマンしながら博士をとってしまう鬼がいます。こういう人たちは基本的に例外だと思った方が良いと個人的には考えています。そして、私のような一般人には5年かかるだろう、というのが今回の主張です。 私が最適化の研究を始めたのはM1です。だから、5年間最適化の研究をしたことになります。そして、この5年を使ってギリギリＤ論がかけたと思っています。ちなみに5年間のうちに研究のゴールが変わることはなかったです(D2の中旬にアプローチが間違っていることに気づき、方向転換はしました。でもやってることはほとんど変わっていません)。もしD1から最適化の研究を始めていたら、おそらく順調とはいかなかったでしょう。 もっとも、5年間フルに研究に使っていたわけではありません。例えば、修士の頃はサッカーサークルに入ってましたし、めいいっぱいフットサルをしました。

■死戦が続く 28日、朝7時半に大学へ。喉が痛いのでマスクと冷えピタとカコナールとマルチビタミンと、いろいろ買ってみた。 29日、やっぱり風邪でバタンＱ。 30日、復活！！とは行かないようだorz D論という目標をなんとなく意識したのはD2の9月頃だっただろうか。その頃には既に今まで取り組んできた研究はダメだろうな、と感じていた。その一方で階層型ISなどの研究が微妙に進行しつつあった。ただ、どうしても収束スケジュールの問題が解決できず、その一点が原因で全てが凍結状態にあった。そして、D2の1月、ちょうどスイスにいる時にその問題は氷解した。それと同時に今のD論のストーリーが完成した。この頃は簡単に完成できると思っていた。それどころか、最適化だけでなく、強化学習にも取り組もうと本気で考えていた。 一番の誤算は英語である。D3の4月頃は日本語論文の20倍くらいの時間をかけて英語を書いていたと思う

■最近の情報系の博士取得後の進路 なぜアカデミア志向は瓦解したのか http://d.hatena.ne.jp/lanzentraeger/20070916/p2 昨日、なぜアカデミアという進路に束縛されてしまったかについて述べたが、では、進路固定はどうやって融解したのか。 触発されてエントリーを投下。私はもう少しで「たぶん」博士課程を修了する予定です。「たぶん」なのでまだ就職は決まってませんが、なんとかなるでしょう。まあ、本当は起業したかったんですけどね。実力が及びませんでした。いや、挑戦はこれからでしょうか。 アカデミアに限らず、終身雇用ポスト争奪戦をするのは日本全体の共通点です。だからこその「お受験」です。アカデミアだと「お論文」ですかね。ただ、今の情報系だと仮に良質な論文がたくさんあったとしても、ポスドクすら見付けられない可能性があるくらいポストの数が少ないです。 というわけで、現

全部で10冊で約10万円。もう一段広い視野から自分の研究を位置づけることが目的。さすがに全てをみっちり読むのは無理だろう。 1つはこれ。一般線形代数作者: 伊理正夫出版社/メーカー: 岩波書店発売日: 2003/02メディア: 単行本前から気になっていた本。再び正規分布の共分散行列と戦うはめになったので、ここからヒントを得たい。 次はこれ。Towards a New Evolutionary Computation: Advances on Estimation of Distribution Algorithms (Studies in Fuzziness and Soft Computing)作者: Jose A. Lozano, Pedro Larrañaga, Iñaki Inza, Endika Bengoetxea出版社/メーカー: Springer発売日: 2006/02/2

「ボナンザのすごいところ」につっこむhttp://d.hatena.ne.jp/mkomiya/20071111/p8つっこまれました(>_「人間の指し手をまねしよう」というポリシーによる学習データの作り方に関する論文が既にあるそうです。この流儀を将棋業界では兄弟モデルと呼ぶそうです。私的には目からうろこだったんですけどね・・・駒の関係を利用した将棋の評価関数Evaluation Functions Based on Pairs of Pieces金子知適他第8回ゲーム・プログラミング ワークショップ (2003) pp. 14--21http://www.graco.c.u-tokyo.ac.jp/~kaneko/papers/index-j.html Bonanzaの発想が斜め上をいったのは、棋譜の手を打った局面そのものを学習対象にしたのではなく、そこから駒がぶつかっている場面の取り合

自分に言い聞かせてることの一つに「ベストよりもベターを選べ」というのがある。 例えば、プログラマーというのは大勢で一つのプログラムを開発する。大勢のプログラマーが集まれば技術差はもちろんのこと、そもそも仕事に対する姿勢もてんでバラバラだ。ある人は最高の製品を作りたいと考えてる。その一方である人は全力で手抜きをして給料泥棒したいと考えている。そういう集団の中で技術的にベストな方法が、本当にベストであることはまずない。例えば、C++を使うのが技術的に最良だったとしても、VBを使う方がトラブルが減り全体で見るとベターになるかもしれない。 馬鹿プログラマは仕事でプログラムするなhttp://d.hatena.ne.jp/Isoparametric/20071104/1194128512をチラっと見て、私のプログラマーバイト時代の苦労を思い出した（私も愚痴をいっぱい言ったもんだなぁ、と）。まじめで勤

ボナンザVS勝負脳: 404 Machine Learning Not Foundhttp://www.computer-shogi.org/blog/watanabe_vs_bonanza_404_machine_learning_not_found/棋譜データを解析した結果をコンピュータの思考に反映させる、という手法は、ボナンザが始めたものではなく、ゲームプログラミングでは古典的なテーマです。過去に機械学習を用いた研究があるかどうかは別として、棋譜を用いた機械学習は誰もが考えることだというのはもっともだと思います。問題はどのようにしてデータを正例、負例とラベリングするかです。ボナンザのすごいところは、人間が指した手全てを正例にしたところだと思います。この発想はなかなかできません。普通は人間より強いものを作るために、棋譜の中から重要なデータだけを統計的に取り出そうとします。例えば、勝った