準ニュートン法 - Wolfram Mathematica Documentation Center
上記の経路でまず目に付くのはこれが間違った方向に向かって始まっている点である．最初のステップではすべての方法がその勾配に従わなければならないために，最急降下のこの方向が選ばれたのである．しかし，後続のステップでは，ヘッセ行列の近似モデルの構築のために取られたステップにおける関数値および勾配値からの情報が組込まれている． Mathematica は，BFGS (Broyden-Fletcher-Goldfarb-Shanno)更新法を使い，大規模システムでは，メモリ節約型のL-BFGS法を使う．L-BFGS法ではモデル Bk は明示的には保存されず，過去のステップから保存された勾配とステップ方向によって Bk-1f (xk)が計算される． 大規模で疎な問題の場合，BFGS法には少々問題がある．一般にコレスキー因子（あるいはヘッセ行列の近似 Bk またはその逆行列）は密なので，O (n2)のメ
転置インデックスの圧縮 - tsubosakaの日記
Managing Gigabytes勉強会で転置インデックスの圧縮の話が出たので実際に圧縮を行った場合にどれくらいのサイズになるかを計測してみた。 利用したデータは英語版Wikidiaの全記事で 文書数 2,872,589 単語数 2,735,620 転置インデックスのポインタの数 397,603,176 ぐらいのサイズのデータです。 無圧縮の転置インデックスのフォーマットは 単語ID,文書数,文書1,....文書N, 単語ID,...で各項目4byteとなっており、1.5Gぐらいのサイズになっています。 これに対して各圧縮アルゴリズムを適用した結果は アルゴリズム 無圧縮 Variable Byte Code unary符号 γ符号 δ符号 Rice Coding pforDelta(仮) サイズ 1537MB 497MB 239475MB 474MB 407MB 367MB 455MB
データベースパフォーマンスに関する、僕が知りうる限り最高の教科書 - レベルエンター山本大のブログ
データベースの醍醐味は、パフォーマンスチューニングにあります。 チューニングによっては、同じ処理でも1時間掛かる場合もあれば、 1秒で終わるということもあり得る世界です。 僕はDBの魅力に取り付かれた者の一人です。 DBという技術の奥深さが気に入っています。 DBを極めると、どこの現場に行っても絶対に必要とされます。 また、どこの現場に行っても正解を導く方程式は一緒なので応用が利くのです。 しかし、その基本原理を体系的に学べる手段はあまりありません。 OracleMasterやMCDBAといった資格試験でも学べることは限られていて あとはWebで調べるなりマニュアルを読むなりするしかありませんでした。 とくに肝であるパフォーマンスチューニングについては、 経験則でチューニングしている部分も多いです。 Oracle、SQLServer、MySQLと色々なDBのチューニングをしてきましたが、
Confidence Weighted Linear ClassificationをRubyで書いてた - ブログ執筆中
つい最近、機械学習勉強会でConfidence Weightedを読みました。理論はラグランジュで引っかかってしまいましたが、そこ以外はつまること無く読めました。 せっかく読んだのでRubyで実装してみました。といっても、ぜんぜん難しくない。ホント実装簡単すぎる。せっかくなのでオープンソースとかで公開してみたいけれどもどうやったらいいかさっぱり。。。 勉強会では、なぜ１回で学習が収束するのかを議論にしてみました。僕は、分散の値が学習される毎に小さくなっていくため２回目以降の学習によるパラメータの更新量が小さくなるのではないかというのと、Perceptronとは異なり、分類が誤ったからといってその事例が必ず分類できるようにをするわけではないため、他の事例によって元の事例が分類できないパラメータになる可能性が低くなるのではないかと主張してみたけど、すっきり筋の通る説明になっていないのでうーんと
100年に1度の奥華子まつり！ | Excite Music連載ブログ：奥華子日記 ココロレター
“10万人が足を止めた魔法の声” 聴いた瞬間から心に染み入るメロディと歌詞、まっすぐな歌声は、老若男女問わず幅広い世代の人々から支持を集めている。 “声だけで泣ける”と称される彼女の歌声は、まさに初めて聴く人の耳を捉えて離さない。 キーボード弾き語りによる駅前路上ライブを04年2月に渋谷でスタートし、1年間で2万枚の自主制作ＣＤを手売りする等、驚異的な集客力の路上ライブが話題となり、05年7月メジャーデビュー。 NHKみんなのうた「恋つぼみ」、劇場版アニメーション「時をかける少女」の主題歌となった「ガーネット」は、スマッシュヒットとなりロングセラーを記録。7thシングル「明日咲く花」がNHK「世界一周！地球に触れるエコ大紀行」のテーマソングになる等、次々と話題作をリリース。 08年は2度目の全国ツアーも大成功に終わり、11月に、8thシングル「あなたに好きと言われたい」をリリース。年末に全
PRML第4章メモ - alembert の作業日記
4.1 線形関数（判別関数） 線形識別関数 入力変数とパラメータとの内積で出力変数（１次元）に射影。y = w・x + w0（w0 : bias parameter）。決定面は y = 0。 決定面から大きく離れた入力関数にペナルティを課してしまう⇒おかしい 誤差関数 : ½Tr{(XW-T)T(XW-T)} フィッシャーの線形判別 クラス1の目標関数を N/N1、クラス2の目標関数を N/N2 として、線形識別関数に最小二乗法を適用すると得られる パーセプトロンアルゴリズム 入力変数->非線形関数->パラメータとの内積->ステップ関数->出力変数 誤差関数 : E(w) = -Σ[n:error] WT φn tn 解は最急降下法で求められる（ただし収束がめちゃくちゃ遅い） 4.2 確率的生成モデル ガウス分布の活性 : ak(x) = (Σ-1μk)Tx + (-½μkTΣ-1μk +
PRML第4章メモ - alembert の作業日記
http://d.hatena.ne.jp/alembert/20090726/p1 の続きです。 4.3 確率的識別モデル 確率的生成モデル＝入力変数のモデル , 確率的識別モデル＝出力変数のモデル ロジスティック回帰 活性化関数としてロジスティックシグモイド関数 σ(a) を利用 尤度が指数型分布族の場合に適用可能 誤差関数 : E(w) = -Σ(t ln y + (1-t)ln(1-y)) 交差エントロピー関数 誤差関数の勾配 : ∇E(w) = Σ(yn - tn)φn 目標値と予測値の誤差×基底関数ベクトル 線形基底関数モデルと一緒というのが興味深いね、という話（cf. 正準連結関数） 誤差関数のヘッセ行列 : ∇∇E(w) = ΦTRΦ（R = diag{yn(1-yn)} = cov[t]） 最尤推定 過学習の結果は直感通り、w=∞、ヘヴィサイドステップ関数によってクラスが
PRML読書会 #5 資料「線形識別モデル(2)」 - 木曜不足
これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1.3 最小二乗」〜「4.1.6 多クラスにおけるフィッシャー判別」です。 まとめメインで、細かい計算やサンプルは板書する予定です。 【更新】読書会での指摘を反映。 4.1.3 最小二乗 学習データ から 二乗和誤差関数(sum-of-squares error function)を最小にする weight vector(matrix) を求める。 最小二乗の解は、条件付き期待値の近似を与える [cf. 1.5.5] (★*1 , t=1 が に対応するような)２値表記法では、クラス事後確率に一致 近似精度が悪い。[0, 1] の範囲外になることも。 クラスごとの線型モデル K クラス分類における、各クラス の線型モデル , が最大となる に割り当てる ひとまとめにして (D+1)×K
PRML読書会 #5 資料「線形識別モデル(1)」 - 木曜不足
これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1 識別関数」〜「4.1.2 多クラス」です。 まとめメインで、細かい説明/計算やサンプルは板書する予定。 【更新】読書会での指摘を反映。 PRML 4章 線形識別モデル ２クラス分類 [4.1.1] 多クラス分類 [4.1.2] 最小二乗による学習 [4.1.3] フィッシャーの線形判別による学習 [4.1.4-6] パーセプトロン・アルゴリズムによる学習 [4.1.7] おまけ 分類問題 入力ベクトル を K 個の離散クラス の１つに割り当てる 入力空間は決定領域 ( decision region ) に分離される 決定面 ( decision surface ):決定領域の境界 線形識別モデル 決定面が superplane 線形モデル 入力ベクトル の線形関数(★*1線形方程式
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Site Under Maintenance
宇宙はエレベーターで行く時代になる、かも : ニュース : 宇宙 : YOMIURI ONLINE（読売新聞）