numpy.linalg.invとnumpy.linalg.solveを用いた逆行列計算 - シリコンの谷のゾンビ
(Tokyo.SciPyに毎度お邪魔させて頂いているのにも関わらず今まで全くNumPyとかSciPyとか使っていなかったのだけれど) 最近ようやくNumPyやSciPyを(ほんの)少しずつ使うようになってきた．機械学習関連に限らず必ずと言っていいほどお世話になる逆行列計算． そういえば逆行列と何かの積を取る場合，numpy.linalg.inv()じゃなくてnumpy.linalg.solve()の方が速いよ，ということをどこかで聞いていた気がするので「単位行列との積を取れば逆行列単体の計算も速くなるんじゃね?」ということをお思いついて速度差を比較してみた． というわけで以下の4つのケースの速度を比較 Aの逆行列を計算 (numpy.linalg.inv) Aの逆行列を計算 (numpy.linalg.solve) Aの逆行列を計算 (numpy.linalg.inv) し，bの積を計算
ICML2013読み会に参加して発表してきました - シリコンの谷のゾンビ
ICML2013読み会に参加して発表してきました．幹事の @sla さん，会場提供してくださった東大中川先生，発表者，参加者のみなさまに改めてお礼申し上げます． タイムテーブルは以下のとおり． 18:00-18:20 @sla : "Learning Spatio-Temporal Structure from RGB-D Videos for Human Activity Detection and Anticipation" 18:20-18:40 @beam2d: "Local Deep Kernel Learning for Efficient Non-linear SVM Prediction" 18:40-19:00 @conditional: "Vanishing Component Analysis" 19:00-19:20 @jkomiyama_ : "Active Le
18 Matrix decomposition and latent semantic indexing (pp.369-384) - シリコンの谷のゾンビ
ちょっと飛ばして，先にIIR18章を読んでみた．単語文書行列を特異値分解して新しい空間でベクトル空間モデルを使うというLSIの話． ページ数が少なかったので，魔が差して翻訳もしてみた．さらに数式が多いのでTeXで書いてみた．ここまで来たらこだわろうとAB型の悪い癖が出て，数式や演習も全部訳してみた．ついカッとなってやってしまった．今は公開している．でも反省はしていない．まだやっつけの部分があるのでこつこつとバージョンアップしてきます． Introduction to information retrieval: 18 Matrix decomposition and latent semantic indexing（和訳） 大体1ページ1時間．こつこつ夜なべをして3日間くらいかかりました．否が応でも精読するので，とても理解が深まりました．じっくり読むのも翻訳作業もとても楽しかったので，なん
SVMの最適化にL-BFGSを使っていいのか? → たぶん大丈夫 - シリコンの谷のゾンビ
適切なタイトルは「SVMの主形式を制約なし非線形最適化で解く」だと思う． きっかけはSEXI2013/WSDM2013読み会で @harapon さんが担当された論文 Identifying Users' Topical Tasks in Web Search (WSDM2013) ．ここにLinear SVM (SMO) とLinear SVM (L-BFGS) という手法が出てくる． いかにゆとりといえど，さすがにPRMLを三周回っているとSVMが主形式，双対形式ともに二次計画 (QP) であるということくらいは覚えている．はてL-BFGSは準ニュートン法，制約なし非線形最適化に用いる最適化手法という認識である．これって使ってよいのだろうか? 最初は下記のつぶやきのとおり思っていたのだけれどこれは間違い．KKT相補性条件のことを忘れている． というわけでしばらく調べていたら下記の論文を
SVM実践ガイド (A Practical Guide to Support Vector Classification) - シリコンの谷のゾンビ
SVMツールで有名なLIBSVMの作者らがまとめた "A Practical Guide to Support Vector Classification" という良資料[1]の日本語解説資料をまとめてみたので公開． SVM実践ガイド (A Practical Guide to Support Vector Classification) View more presentations from sleepy_yoshi 元資料はこちら 本資料作成のきっかけは，まわりの人に「SVMとかいう手法使ったんだけど，機械学習よくわからなくてさ」という感じで相談を受けて「カーネルは何使ってるの?」「素性のスケーリングはした?」「Cパラメータは調整した?」というようなことを聞くのだけれど，「???」というやりとりにうんざりしたから． その都度，Cパラメータというものがありまして〜，カーネルというものが
TokyoNLP#5で「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」を発表しました - シリコンの谷のゾンビ
TokyoNLP#5に参加して「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」というタイトルで発表しました．発表資料 (検閲後) をuploadしました． なお，2種類のAveraged Perceptronというものがあるというような発表をしてしまいましたが，実は両方とも実質同じアルゴリズムでした．片方はVoted Perceptronの近似 [Carvalho+ 06] という文脈．もう一方は構造学習を行うStructured Perceptron [Collins 02]の文脈で提案されています．その部分を修正しました．@uchumikさんのコメントで気が付きました．どうもありがとうございます． TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ〜ん View more presentations from sleepy_yoshi 音声付きで用意したネタ．どうやら徹夜明けの妙な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
