有効なWikiNameではありません - PukiWiki for PBCGLabSite admin: fujis PukiWiki 1.5.4 © 2001-2022 PukiWiki Development Team. Powered by PHP 8.1.27. HTML convert time: 0.007 sec.
株式会社NTTデータ数理システム
読み：きんせつこうばいほう 英名：Proximal Gradient Method 関連：確率的勾配降下法，ビッグデータ 近接点法と勾配法を組み合わせた反復法で，次の構造を持つ最適化問題を対象とする． $$ \min_x \varphi(x) = f(x) + g(x). $$ ここで，$f$ は滑らかな凸関数，$g$ は滑らかとは限らない”単純"な凸関数とする．$g$ の例としては凸集合 $S$ についての表示関数 $\delta_S(x) = 0 \ (x \in S), \ +\infty \ (x \notin S)$ や，機械学習の分野で良く表れる正則化項 ${\|x\|}_1$，${\|x\|}_2$ などがある．一般に目的関数 $\varphi$ は滑らかでは無いので，劣勾配法のような収束の遅い手法しか適用出来ない様に見えるが，$\varphi$ が上記のような特徴を持つ二種
Convex Optimization – Boyd and Vandenberghe
A MOOC on convex optimization, CVX101, was run from 1/21/14 to 3/14/14. If you register for it, you can access all the course materials. More material can be found at the web sites for EE364A (Stanford) or EE236B (UCLA), and our own web pages. Source code for almost all examples and figures in part 2 of the book is available in CVX (in the examples directory), in CVXOPT (in the book examples direc
ui takashi on Twitter: "凸解析で有名なRockafellarのwebpage http://t.co/VbY04xwz は，すべてのパブリケーションとレクチャーノートがDLできて超充実．もちろん，凸解析のバイブル"Convex Analysis"もDL可．http://t.co/K7W04kX1"
凸解析で有名なRockafellarのwebpage http://t.co/VbY04xwz は，すべてのパブリケーションとレクチャーノートがDLできて超充実．もちろん，凸解析のバイブル"Convex Analysis"もDL可．http://t.co/K7W04kX1
蝉々亭
ウェブサイトの移転などと書くといささか昭和の趣きがありますが，移転しました．同じタイトルで Blogger でやっていきます： 蝉々亭 はてなダイアリーの操作はちょっと直観的でないところがあって，いろいろいい機会なので移転しました．過去の記事はそのまま残しておきます． 今書かないと永遠に書かないような気がしますので書いておこうと思います。単なる雑駁な感想です。言語処理学会に行ってきました。今年も例年通りお祭り騒ぎと申しますか、会期中、普段お会いできない方々と、旧交を暖めると称して酒を酌み交わす日々となりました。私自身は本会議でのポスター発表とワークショップでのオーラル発表があり、これらをこなしつつ、夜は酒席に馳せ参じるという塩梅で、なかなかハードでした。 昨年の北海道では3回の発表（本会議での一般発表、論文賞受賞に伴う発表、ワークショップでの発表）と3回の座長（チュートリアルの司会、一般セ
Newton-CG法とは
先日、@sleepy_yoshiさんがCRFの目的関数の導関数を求める記事を書いていました。ここに便乗して、@yuutatさんたちとやっていたNewton-CG法について解説を書きます。・・・、と思ってたのですが引っ越してから未だにネットにつながらなくてなかなか更新できませんでした。今、マックで書いてますｗ まず、Newton法のおさらいから。Newton法は、目的関数を２次関数で近似して、その最小値（放物線の頂点）に更新する方法です。２次関数による近似は現在のパラメータx0の周りでテーラー展開すればよいです。 これが最小値を取るのはxで微分した値が0になる時で、それは に更新すればよいことがわかります。xがベクトルの場合も同様で、この場合、１階微分がベクトル（勾配）g、２階微分が行列（ヘシアン）Hになることに気をつけます。 さて、CRFの目的関数に関してこれを適用することを考えます。勾配
Why Not Numerical Recipes?
翻訳者前書き この文書は Why Not Numerical Recipes? の全訳です。 コメントは 中野武雄 (nakano@webmasters.gr.jp) までお願いします。 まあ NR もその後版を重ねてますし、 この文書の出所・文責もよくわからなくなってますんで、 どこまで信じるかは読者にお任せします (日付も入ってないし)。 以前は "Why not use Numerical Recipes" という、 もうちょっと reference に耐える文書があったように記憶しているのですが。 武井伸光さんには、訳文について多くの有益なコメントをいただきました。 件のページは http://math.jpl.nasa.gov/nr/ ではないか、 というご指摘を関根達夫さんからいただきました。 ただ残念ながらこのページは現在アクセスできないようです (のでリンクにはしてません)
木曜不足
2004年ごろに Google の猫で深層学習が一躍脚光を浴びたとき、画像認識は特徴抽出が難しいので深層学習で良い結果が出るが、自然言語処理は特徴量*1がリッチなので、深層学習を適用するのは難しいだろうと思っていた。 特徴量がリッチとは、例えば「ホームラン」のたった１語でその文はスポーツ、特に野球の話題である可能性が高くなる、みたいな話である。一方、ピクセルの１つが緑であることから何の画像か当てるのは不可能だ。 その後、自然言語処理でも深層学習が当たり前になったのは誰もがご存知のとおりであり、自身の不明を恥じるばかりだ。ただ言い訳をさせてもらえるなら、自然言語処理のえらい先生方も同じように言っていたのだ。 2014年ごろ、LSTM などの深層学習モデルが発展し、自然言語処理でも目覚ましい結果が出始めた。機械翻訳など多くのタスクで、人間の平均といい勝負になったのもこの頃だったと思う。すると、
共役勾配法を実装してみた - yasuhisa's blog
本当は去年みたいなplotをしたいんだけど、面倒(ry。 工学基礎 最適化とその応用 (新・工科系の数学)の4.6章で遊んでいる。二次関数の簡単なのをとりあえず。 f <- function(x) { x1 <- x[1]; x2 <- x[2] 3 / 2 * x1^2 + x1 * x2 + x2^2 - 6 * x1 - 7 * x2 } nabla_f <- function(x) { x1 <- x[1]; x2 <- x[2] c(3 * x1 + x2 -6, x1 + 2 * x2 -7) } alpha_k <- function(x, d) { A <- matrix(c(3,1,1,2), 2, 2) # 正定値対称行列 - sum(d * nabla_f(x)) / (t(d) %*% A %*% d) } x0 <- c(2, 1) d <- - nabla_f(
ニュートンラフソン法についての質問です。ニュートンラフソン法を利用するプログラム課題は理解できるのですが、別の問題の一つである次の問題をどう考えていけ…
ニュートンラフソン法についての質問です。ニュートンラフソン法を利用するプログラム課題は理解できるのですが、別の問題の一つである次の問題をどう考えていけばよいのかわからないです。 「次の連立方程式f(x,y)=0、g(x,y)=0に対するニュートンラフソン法の反復公式を誘導せよ。」 参考書を調べますと一般のニュートンラフソン法はテーラー展開を用いて証明しているので、これも何らかの形でテーラー展開を利用するのではないかと思いますが、そこから先へ進めなくて困っています。よろしければどなたかコメントお願いいたします。
gccの最適化オプション（１）
今回は最適化オプションのまとめとLINK関連のオプションの補足，および出力の種類の制御オプションの補足，またIntel386とAMD x86-64オプションについて説明する． （筆者） 本来は最適化オプションを付けなくとも理想的なコードを生成することがコンパイラの役目です．しかしそのようなレベルに達していない以上，使う側が理解して最適化オプションを付加してやらなければなりません． 特にこだわらないのであれば，普遍的な最適化をコマンド・オプション一つで行うことが可能です． ● -O この最適化オプションを付けることで，無理のない最適化を行うことができます．あまりコンパイル時間をかけず，メモリも消費しない程度に，コード・サイズと実行時間を減らす最適化を行います．なお，フレーム・ポインタなしでもデバッグをサポートできる機種では，-fomit-frame-pointerをオンにします． -O1オプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
31522215
https://orsj.org/wp-content/or-archives50/pdf/bul/Vol.41_06_343.pdf
高速化・最適化のためのBLAS入門 - 最適化問題に対する超高速＆安定計算