はじめに この記事は Machine Learning Advent Calendar 2013 の 7日目の記事です． 2013年，Deep Learning もアカデミックレベルではさまざまな分野への浸透が進み，バズワードの域を脱したように思えます． これまでは，機械学習というと，応用分野においては(分類/回帰といった)タスクを決めてしまった上でブラックボックスとして 扱うもの，という空気がありましたが， Deep Learning に代表される柔軟な，いかようにも組み上げられるモデルは，問題の性質を積極的に(特徴量としてではなく，モデル自体に)組み込むことを容易にする，大きな武器になるのではないかと感じています． 素性エンジニアリング vs モデルパラメータエンジニアリング の不毛な戦いが幕を上げた，という見方もできちゃいそうですが・・・．． さて今回は， Torch7 という，Ne

なんとか7日目を迎えることができました．1週間というのは長いものです．しかし，これでまだ1/4の章．しかも簡単な部類の章ばかりなので，MLaPPこわい．ということで線形回帰の章です． Model specification 線形回帰モデル の代わりに非線形関数を用いてもモデル化できる これは基底関数拡張(basis function expansion)と呼ばれる 簡単な例として多項式基底 Maximum likelihood estimation (least squares) 一般にMLEを計算することでパラメータを推定する 訓練データはi.i.d.と仮定しているので対数尤度は 対数尤度最大化は負の対数尤度最小化であり， ここで，RSSはresidual sum of squaresを意味し， これをNで割るとmean squared error (MSE)となるので，これを最小にする

Saturday, December 7, 2013 Contextual Bandit in VW Machine Learning Advent Calender 6 日目（Friday, 6 December 2013, 23:20:09 PST）の記事です． Vowpal Wabbit (VW) に組み込まれている "Offline" Contextual bandit module の紹介をします． （簡潔に説明できる気がしないし理解度もそこまで深くないので，難しいことには踏み込まない） k-Armed Bandits は，以下のような問題設定の中で，何度も試行を繰り返すことで Policy を決めて最適な選択を探します： Policy により $k$ 個の arm から 1 つの arm を選択する（i.e. k 個のクリエイティブ・広告画像から 1 個を選択する） 選択した

こんなどうしようもないような、いい加減な情報を見かけた。 牛乳は体に悪い? 知られざる秘密 http://news.livedoor.com/article/detail/8323070/ よくある牛乳有害論なのだけど、説明がちょっとぶっ飛んでいたので興味をひいてしまった。 記事より引用 人間、特にアジア人（成年）は牛に含まれる乳糖をカルシウムに分解する分解酵素が体内で分泌されないために、うまく吸収できないケースが多いのだ。 乳糖はガラクトースとグルコースという単糖類が2つ結合した糖であり、カルシウム元素を含んでおりません。う〜ん、頭痛いです。 でも、牛乳有害論はしぶといので何がおかしいのかをちゃんと説明しておこうかなと思い、ツイッターで連続ツイート解説してみました。どらねこのツイッターを追っかけていない人も多いと思いますので、ブログにも転載して紹介しておきます。 ■ツイッターで少し説明し

JavaScript で高速なコードを書こうとする際に、はまりがちな罠と、JSX のコンパイラでどのように対処しているのかを紹介

前置き これは、Competitive Programming Advent Calendar Div2013, 第 5 日の記事です。 記事の内容はタイトルの通り、アルゴリズムではなくコーディング自体に関するテクニック集です。（おそらく）競技プログラミング界隈ではこういった知識についてのまとまった資料が少なく、他の参加者のコードを見て盗まなければならないというのが現状だと思います。当ブログでも、テクニカルな書き方をしたコードを特に説明せずに掲載しているので、わたしがよく使っているものをまとめてみようと思いました。 この記事の内容を実践することで、例えば次のような効果があります。（個人の感想です） コード量が減少し、すっきりまとまったコードになってうれしい コードの意味が分かりやすくなり、デバッグしやすくなってうれしい Challenge / Hack の際に変なコードでも読めるようになっ

3. 2. 燃やす埋める問題 引用:Komakiさんのページ http://topcoder.g.hatena.ne.jp/CKomaki/20121019/1350663591 3. FoxAndGo3 引用:TopCoder - SRM594 Div1 Medium http://community.topcoder.com/stat?c=problem_statement&pm=12808&rd=15706 4. The Year of Code Jam 引用:Google Code Jam World Finals 2008 E （プログラミングコンテストチャレンジブック P357） https://code.google.com/codejam/contest/32011/dashboard#s=p4 5. Surrounding Game 引用:TopCoder - S

そもそも発言小町で相談しないで、同学科の先生たちとお食事会 or 飲み会言って愚痴を述べれば良いと思う。 発言小町：研究室で、学生が教員に「客に対してその態度は何だ」といいます 「金を払っている客に対してその態度は何だ！」の前段階としてどういう態度をとったのかによって、この発言の妥当性は変わるのだけど、普通に接していてこういう発言にであったら、単なるサービス提供者になる。基本的に最大公約数的な指導はするけど、個別事情に合わせた指導はしない（というか、する気力がわかないので多分できない）。最大公約数的な指導はだいたい以下のとおり。 質問されたことについてのみ答える。質問にできないことは探らない。 技術や能力を伸ばすための助言や指導は、求められなければしない。求められた場合も負担にならない範囲で対応する。 社会人として求められている一般的な振る舞いや技能ができていなくても、自分および他人の迷惑

以下の発言小町の投稿が妙に気になった。 研究室で、学生が教員に「客に対してその態度は何だ」といいます http://komachi.yomiuri.co.jp/t/2013/1205/632269.htm これはただの痛い学生の話にすぎないのだけど、大学にとって学生が「客」かどうかという問題はなかなか興味深い。 学生は大学に学費を納めているので、そういう意味ではやはり学生は「客」ということになるだろう。もちろん、大学の収入源は学費だけではなくて国から提供される補助金や、（日本ではあまり多くはないが）パテント収入なんかも考えられるので、学生へ提供されるサービスのよりどころとしての学費はあくまで一部にすぎないのだけど、それでも収入源の一部である以上、やはり学生が「客」と言えることにかわりはない。 もっとも、飲食店や小売業のようなサービス業と違って、大学の提供するサービスは「教育」であるので、「

いつのまにやら300エントリ いつの間にか300エントリになってたという話を書こうと思っていたのですが、『hatenablog.com Site Overview』を見たら「hatenablog.com」内のランキングで1位になってました。ありがとうございます。7月27日に更新を再開して4ヶ月と少しですか。 このランキングの信頼性は微妙ですし、古参の人々が移転しはじめてきた http://hatenadiary.jp などのドメインが含まれていないので所詮はコップの中の嵐です。そもそもPVが多いことで得することなんて殆どないですし、こういう記事を書く時か月末ぐらいしか気にしてません。月間PVも正確には把握してないんですよね。 ただ、せっかくなの自分の中のブログ論らしきものを一旦は終わらせるためにも、手の内を書いて行こうと思います。まー、そんな大袈裟な事は考えてないってのが実情なんですけどね

Capy CAPTCHA 早速、実証コードが(CAPY IS A VERY READABLE CAPTCHA)出たようだ。このように一瞬で突破されてしまい意味がない。 さきほどインターネットを見ていたらスパム防止用の「読みづらい画像認証」に、日本人が終止符を打った技術が斬新過ぎる！経由で、Capy - 低コストで導入も簡単な不正ログイン対策という、パズルを使った新しい新しくないCAPTCHAを知った。 コンテストに優勝するなど肯定的な反応が多いので、この記事では、このCAPTCHAのセキュリティ上の問題点について簡単に書いておこうと思う。 まず、Capy - デモにデモが乗っているので、タイプ別に問題点を示す。 パズルタイプの破り方 ジグソーパズルの空白を埋めるタイプのCAPTCHAである。話にならない。 まず、縦横が5pxごとに吸い付くようになっているので、縦横400px*300pxだと

というわけで，昨日はベイズ統計でしたが，本日は頻度論的統計の章です．頻度論から統計学を知った身としては，頻度論の問題点を指摘されているのは自分の黒歴史を見つめているようで悲しい気分になります…．とはいえ，最近は完全に発想がベイジアンになっているのですが． 頻度論統計のベイズ統計の一番の視点の違いは最初にも書かれているように，頻度論はパラメータが固定（真のパラメータがある），データはそこからサンプリングされたに過ぎない（ランダムでありうる）と考えているのに対し，ベイズ統計はデータは固定（だって目の前にデータがあるじゃん！），パラメータはランダム（事前分布などに応じて変わりうる）と考えています．これらの違いを意識すると，どっちの立場の話もすっきりするのではないでしょうか． Sampling distribution of an estimator 頻度統計ではパラメータ推定値はestimato