サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Pixel 9
d.hatena.ne.jp/higotakayuki2
SMOよりも優れたアルゴリズムにSimple SVMというのがあるそうだ。SSVM : A Simple SVM Algorithmhttp://www.stat.purdue.edu/~vishy/papers/VisMur02b.pdf しかし、このアルゴリズムを理解してC#で実装したいんだけれど、なんだか論文がすごく難しくて挫折を繰り返してしまう。誰か素人でもわかるように教えてください(´・ω・`) 余談だけれど、このSimple SVMとやらは10回以下で収束するって書いてある。オンライン学習というのが研究されているが、オンライン学習はsimple SVMの10倍以下の高速化しか望めないし、解の質もよくわからないということなのかな?
今までパーティクルフィルタをちゃんと勉強してなかったので、質疑対策としてダウンロード。電子情報通信学会誌 2005年12月号 「粒子フィルタ」 樋口知之http://www.ieice.org/jpn/books/kaishikiji/2005/200512.pdf遺伝的アルゴリズムとモンテカルロフィルタ 樋口知之http://www.ism.ac.jp/editsec/toukei/pdf/44-1-031.pdf今必死で読んでるけど、思想的な違いは何もないということがわかった(汗)一般的な定式化なんだ、と言われれば確かにパーティクルフィルターに含まれる(汗汗汗)というか、この論文は引用すべきだった。
日本の将来を危惧している人が多い。何も破壊しない日本が破壊されるhttp://blog.goo.ne.jp/ikedanobuo/e/042ba00a133e62cb87f8682fab9701d2今までの日本人は大変恵まれていて、諸外国に比べて大変豊かであったし、今もそうだ。でも、それもそう長くは続かないだろうと多くの人が感じており、私もそのうちの1人である。 何が悪いのか?誰が悪いのか?という議論はおそらく無意味だ。もちろん日本経済の足を引っ張っている人や政策、文化はあるだろうけれど、本質的な原因はそこにはない。世の中は平均化していくものなのだ。情報は拡散する。日本にしかできないことはどんどん無くなっていく。従って、将来にわたって日本だけが豊かであるというのは例外的であると考える方が普通だろう。また、平等の観点からは、日本人だけが豊かな暮らしを享受していてよいのだろうか、と考えることも
マジコンの功罪http://d.hatena.ne.jp/higotakayuki2/20090306/p2というエントリーを書いてみたら、若干の反響があり、うれしい限りです。2割くらいの人は、書いたことの本質に気づいてくれたようです。たとえばIvan_Ivanobitch 薬とゲームの境目にあたるものが同じ問題に直面したとき、我々はどうするのであろうかというコメントがありました。そういうことなんです。多くの人に「特許とワクチンと貧困国の問題」について考える機会を提供できればと思います。この問題はマジコンの話(から連想される経済)の(感情的な意味での)極論バージョンだと思います。(「マジコンの話」と書くと、「マジコンの目的」の話みたいに見えますね・・・なんて表現すればいいですかね?) ちなみに、8割くらいの人が勘違いしていますが、先日の話をわかりやすく書けば「お金あるのに払わないやつなんな
ぼくらのマジコン3日間戦争http://d.hatena.ne.jp/RPM/20090305/1236249762いろいろ考えてみるのはいいことですね。何でも知ってる人なんていません。人間なんてのは知らないことの方が多い生き物なんです。自分の知識の誤りに気づける機会に遭遇するというのは貴重です。 任天堂やゲームメーカーは素晴らしいゲームを提供してくれるので、それに見合った金銭を手に入れられるような社会だったらいいなぁ、と思うのが私を含め普通の人が思い描く理想の社会だと思います。しかしながら、電子データは簡単にコピーできるため、マジコンのようなものが流通すると、市場という仕組みでは理想の社会がうまく実現できないかもしれない、というのが我々が考えるべき重要なことの1つですね。音楽業界も同様の問題を考えていると思います。 「それに見合った金銭」というのが簡単に計算できるのであれば、問題は簡単な
最近は周辺尤度の研究をしています。といっても、あまり高度なことはやっていませんので、特筆することはないんですよね(汗)。そこで、先週のセミナーで初心者向けベイズイントロ的な話が面白かったので、そこら辺のことをつらつらと書こうと思います。 そもそもベイズ推定とは何か?ベイジアンな確率モデリングでは(ベイジアンが具体的に何を指すかは不明ですが、今から説明することをベイジアンな確率モデリングと呼ぶことに問題はないと思います)、まず全ての確率変数の同時確率を定義します。ここで確率変数は観測変数と、予測したい変数と、これらを出力しているであろう確率モデルの構造です。ということで、同時確率はのように書けます。ベイジアンな確率モデリングでは未知変数は周辺化して消してしまいます。最後に観測値を条件部分に移した予測変数の条件付き確率を計算します。これがベイズ推定です。 こういう定式化の仕方を普段はしないので
Discriminative models, not discriminative traininghttp://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=998ずーーーーーーーーーーーーーっと前にこれを見て、読みたいなとは思ったものの、たかだかA4で1枚の文章を読む余力もなく、忘れていたのですが、ふと思い出して読んでみました。 Due to the model assumptions, the estimations of and 0 decouple, so the best is the same as in (3).ここまではOKなんですが、そっから先が理解できませんでした。具体的にはIt must be because a model of the form (5) fits
EDAは2000年前後に類似アルゴリズムがたくさん提案され、それが一般化されずに今に至ってしまいました。そのため、アルゴリズムの本質が世間一般に理解されていないのが現状です。その結果、先日イタリア人と不毛な言い争いをするはめになりました。 というわけで、日本のEDAコミュニティのレベルアップを計るために、私の見解を述べおきます。 そもそもEDAという名詞が指してるもの自体は未定義です。ここでは、私が独自の定義を与えます。アルゴリズムを記述しますと、以下のようになります。確率分布p(x)の初期化ループ 確率分布p(x)からのサンプリングサンプル集合から良いサンプルの選択選択したサンプルの分布推定p(x)←推定した分布ループの中の2番目の操作である、サンプル集合から良いサンプルを選択することを、GAの言葉を使って選択(セレクション)と呼びます。EDAでは基本的にTruncation selec
「はてな」の大幅方針転換で、はてな村がざわついています。一時期、はてなとgoogleが比較されまくった時期がありました。ですが、この2つは全然違うタイプの会社です。そして、googleと対比しすぎて、何か間違った方向性に突っ走ろうとした感があります。それが修正されたのが今でしょうか? 私は「はてな」のブログと、アンテナを使ってます。それ以外は、基本的に使っていません。で、使い比べてみたわけではありませんが、「はてな」のブログとアンテナが、どのブログ、どのRSSリーダーよりも使いやすいと信じてます。これが無くなったら、私はネットを去るかもしれません。 週刊アスキーに無料ブログサービスのユーザー数トップ10が載ってます。はてなは何位だと思いますか?2008/2/26号の順位をのせて置きます。FC2(ユーザー数23万)アメブロlivedooryahooヤプログSeesaa楽天gooJugemNi
今は自分の人生をどう振るかを考え中です。いや、前から考えてましたが、最後の選択が近づいてきたと言った方が正確でしょうか。現実と折り合いをつけていくと言っても良いかもしれません。 大まかにはポスドクにはならないと決め、企業に行くことにしました。そして、今年度の3月に卒業することも決めました。 特別研究員をやりながら、もう1年だけ学生するという道がもっとも楽で堅実だったとは思います。しかし、最終審査が終わった今から卒業を伸ばすというのは大人のマナー的に難しいです。まあ裏事情もあるのですが、それは酒のつまみにしたいと思います(^^; ポスドクになることはできます。表に出てこないというか、募集がないところでも任期つき研究員になれる場合があります。専攻の先生に片っ端からポスドクがないか聞いてみれば100%見つかると思います。基本的には2回、3回と同じ方法でいけると思います。ただ、そこから先は未知の世
機械学習と確率統計の関係が「常識」になったのは、ここ10年くらいのことだと思います。学部生だった頃の私にとって「脳」というキーワードとリンクしたニューラルネットは、あやしげなオーラを放つ魅力的なアルゴリズムでした。ですが、理解が進むにつれてわかったことは、ニューラルネットは所詮は統計学ということです。あやしげなオーラはどこへやら、正直がっかりしました。 所詮は統計学、されど統計学、統計学を勉強してわかったことがあります。それは、統計学が運動方程式並みにすごい方法論だったということです。そのすごさをなんとなく説明してみたいと思います。 理系なら誰もが運動方程式を使って力学の問題を解いたことがあると思います。力学の問題を解くプロセスは(1)運動方程式をたてる、(2)微分方程式を解く、という2つのステップからなっています。運動方程式をたてるというのは、対象の問題を見ながら、物質間の相互作用や力を
「ボナンザのすごいところ」につっこむhttp://d.hatena.ne.jp/mkomiya/20071111/p8つっこまれました(>_「人間の指し手をまねしよう」というポリシーによる学習データの作り方に関する論文が既にあるそうです。この流儀を将棋業界では兄弟モデルと呼ぶそうです。私的には目からうろこだったんですけどね・・・駒の関係を利用した将棋の評価関数Evaluation Functions Based on Pairs of Pieces金子知適他第8回ゲーム・プログラミング ワークショップ (2003) pp. 14--21http://www.graco.c.u-tokyo.ac.jp/~kaneko/papers/index-j.html Bonanzaの発想が斜め上をいったのは、棋譜の手を打った局面そのものを学習対象にしたのではなく、そこから駒がぶつかっている場面の取り合
ボナンザVS勝負脳: 404 Machine Learning Not Foundhttp://www.computer-shogi.org/blog/watanabe_vs_bonanza_404_machine_learning_not_found/棋譜データを解析した結果をコンピュータの思考に反映させる、という手法は、ボナンザが始めたものではなく、ゲームプログラミングでは古典的なテーマです。過去に機械学習を用いた研究があるかどうかは別として、棋譜を用いた機械学習は誰もが考えることだというのはもっともだと思います。問題はどのようにしてデータを正例、負例とラベリングするかです。ボナンザのすごいところは、人間が指した手全てを正例にしたところだと思います。この発想はなかなかできません。普通は人間より強いものを作るために、棋譜の中から重要なデータだけを統計的に取り出そうとします。例えば、勝った
7時に起きて、迷いを振り切り、栄養ドリンクを飲んですずかけ台へ向かった。 まずはボナンザ。ボナンザを作った動機からはじまり、アルゴリズムの話がちょこっとあって、最後に学習結果の紹介。アルゴリズムの話が少なくて残念だった。アルゴリズム解説のスライドは以前に公開されてたPDFと同じだったかも。「化学の研究でこんなに注目されるためには、ノーベル賞をとらなきゃいけない」というところが面白かった。 次にMassive Data AnalysisのOS。今までの統計的学習では汎化誤差に焦点が当たっていたが、これからは大規模データを処理するために使っていく展開があるよ、というイントロからはじまる。参考文献があったけれど失念。大規模データといえば、例えばインターネット検索? 次にLocally Sensitive Hashingというもの。クエリーが与えられた時、そのクエリーにもっとも近いk個のサンプルを
自分に言い聞かせてることの一つに「ベストよりもベターを選べ」というのがある。 例えば、プログラマーというのは大勢で一つのプログラムを開発する。大勢のプログラマーが集まれば技術差はもちろんのこと、そもそも仕事に対する姿勢もてんでバラバラだ。ある人は最高の製品を作りたいと考えてる。その一方である人は全力で手抜きをして給料泥棒したいと考えている。そういう集団の中で技術的にベストな方法が、本当にベストであることはまずない。例えば、C++を使うのが技術的に最良だったとしても、VBを使う方がトラブルが減り全体で見るとベターになるかもしれない。 馬鹿プログラマは仕事でプログラムするなhttp://d.hatena.ne.jp/Isoparametric/20071104/1194128512をチラっと見て、私のプログラマーバイト時代の苦労を思い出した(私も愚痴をいっぱい言ったもんだなぁ、と)。まじめで勤
私はもうすぐ博士課程を卒業する予定(苦笑)ですが、元より「博士後期に進む」って決めた時点で人並の人生も幸福も期待なんかしてないhttp://d.hatena.ne.jp/min2-fly/20071027/1193520052「博士後期に進む=死亡フラグ」と断言するほど、博士課程というのは壮絶ではないです。就職に関してはアカデミックコースにはどの職にも任期がついており、運が悪い場合は職を転々とする可能性があります。明確なルールが確立されておらず先行きが不透明となりますので、テニュアを獲得するまではもんもんとするでしょう。そして、テニュアが獲得できなかったら・・・テニュアhttp://qdai.way-nifty.com/qjes/2005/06/post_41a7.htmlその点を除けば、特別悲惨な状況に陥ることはまれです(私の分野では)。機械系や化学系はとりわけ民間企業への就職が良いとい
昔は無知だったので論文を書くよりアルゴリズムを提案することが大事だと思い、ひたすら勉強と思考を繰り返していました。ですが、卒業にはアルゴリズムよりも論文が必要だということに最近気づきました。もちろん、アルゴリズムを提案することは大事ですが、論文を書くことを念頭に研究を進めていくことはとても重要です。 では、どのようにスケジュールを組めば良いのか?だいたいどれくらいのコストが発生するかを、例をあげて説明してみます。あくまで一例です。膨大な時間:アイディアの創出(勉強、思考、議論)1週間:アイディアを整理2週間:プログラミング+実験+アルゴリズム整理2週間:実験3週間:学会用の論文2週間:学会発表準備1週間:発表中3週間:論文書き直す3週間:査読修正と、この例ではアイディアが生まれてから、論文が完成するまで合計17週間(約4ヶ月から5ヶ月)かかる計算です。 言うまでもなく、アイディアを出すため
googleで調べたら、それっぽいものがありました。An Efficient Method for Weighted Sampling without ReplacementC. K. Wong and M. C. Easton中身はまだ未確認です。だって、有料・・・(そのうち独占禁止法が発令されるとは思うのですが、アメリカはせこいのでいつになるのやら・・・) 当初は順序統計量が使えるんじゃないかといろいろ考えてみたりしました。乱数をN個発生させた時の、最大値or最小値の確率分布がかけるので、最大値や最小値だけの乱数が生成できます。乱数をN個出す必用はありません。これで例えば、1000個から400個選びたい時は、1個目が400個乱数を出した時の最小値が、そのサンプルの生成に寄与するかしないかを見て、1つづつ処理していけばいいと思ったのですが、よく考えてみるとダメです。順序統計量の乱数は何か
電子情報通信学会情報・システムソサイエティ誌第12巻第2号超平面のオンライン学習における近年の展開畑埜 晃平より超平面の学習と言えば、PerceptronやSVMが代表的ですが、Perceptronと並ぶ基本アルゴリズムにWinnowというのがあるそうです。で、PerceptronとWinnowの中間にp-norm Perceptronというのがあるそうです。このp-normPにはBregmanダイバージェンスという概念が登場するみたいです。このBregmanDはユークリッド距離やKLダイバージェンスの一般化らしいです。p-NormPの拡張にALMAがあるそうです。ALMAはp-normマージン最大超平面の近似解を計算できるそうです。SVMは2次計画を解く必用がありますが、これに対してALMAは計算量のアドバンテージがあるみたいです。以下、ALMAの文献。O. L. Mangasarian
とあるドアには鍵がかかっていて、そのドアを開けるには、まずIDカードをかざし、次にパスワードを入力する。パスワードは4桁の数字で、パスワードが一致すればドアが開く。このパスワードは全員共通であり、従って、特定の4つのボタンが押しつづけられることになる。その結果、特定の4つのボタンだけに大量の汚れが発生する。すると、4桁の候補は24個に絞られ、24回試せばパスワードが解除できてしまう。実は普通の人がボタンを何度押しても汚れは付かないのだが、タバコを吸う人がボタンを押すとすぐに汚れてしまう。というわけで、喫煙してる人は手が汚れない吸いかたをするべきだろう。セキュリティの面だけでなく、ボタンが気持ち悪いと感じる人も多いはずだ。あと、電車に乗っていてよく思うのは、プラットフォームで喫煙した後は、なるべく人口密度が低いところに行くべきだということ。なぜなら、たばこを吸った直後の人はたばこ臭いからだ。
http://oregonstate.edu/conferences/icml2007/paperlist.htmlたぶん読まないと思うけど(難し過ぎるから)、リストアップして読んだ気になるテストFull Regularization Path for Sparse Principal Component AnalysisBoosting for Transfer Learning covariate shift な adaboostUnsupervised Prediction of Citation InfluencesHierarchical Maximum Entropy Density EstimationGradient Boosting for Kernelized Output SpacesBayesian Actor-Critic Algorithms 一応みるwSpar
http://www.ism.ac.jp/editsec/toukei/tokeisuri-43j.htmlhttp://www.ism.ac.jp/editsec/toukei/tokeisuri-44j.htmlhttp://www.ism.ac.jp/editsec/toukei/tokeisuri-45j.html特集「計算と最適化」http://www.ism.ac.jp/editsec/toukei/tokeisuri-46j.htmlhttp://www.ism.ac.jp/editsec/toukei/tokeisuri-47j.htmlモデル選択理論の新展開下平英寿http://www.ism.ac.jp/editsec/toukei/tokeisuri-48j.html自然言語における統計手法を用いた情報処理金明哲http://www.ism.ac.jp/editsec
「民族」の定義を知らないので、何を意図していたかはよくわかりません。しかしながら、日本ってのはアメリカやヨーロッパに比べると、ピュアな感じがしますね、言語的な意味で。 例えば、アメリカってのは英語がメインに扱われているようでいて、実はスペイン語の勢力も強いそうです。また、中南米のスペイン語圏諸国からアメリカに移住した人は「ヒスパニック」と呼ばれ、近年ヒスパニックが増加した結果、アメリカでは事実上の公用語の英語に加え、ヒスパニックの割合の高いカリフォルニア州やフロリダ州などではスペイン語が第二言語となりつつある。この状況を受けて、英語が母語のアメリカ人の中でもスペイン語を学ぶ人が急増している。wikipediaよりhttp://ja.wikipedia.org/wiki/スペイン語 ヨーロッパは英語やドイツ語、イタリア語などごちゃ混ぜなイメージがあります。例えば、スイスには公用語が4種類あり
d.hatena.ne.jp/higotakayuki
次のページ
このページを最初にブックマークしてみませんか?
『d.hatena.ne.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く