問題は「100円玉を3枚持って」とは書いていない。日本で流通している硬貨で300円を持つ方法は3506通りある。うち「100円玉3枚」「100円玉2枚50円玉2枚」「100円玉1枚50円玉4枚」「50円玉6枚」の4通り以外では、10円以下の硬貨を十分持っているのでお釣りは0円になる。この4通りではお釣りが30円となるので、お釣りの平均値は 120 / 3506 = 0.034227... である。 元ネタ: 文系と理系で買い物おつりの計算は分かれる？ある問題の答えが話題に - Togetterまとめ

ネットワークの重みや各ニューロンがどういう入力の時に発火するのかが、学習していく過程で各時刻可視化されてとても良い教材です。 http://playground.tensorflow.org/ うずまきのデータセットに関して「中間層が1層しかないとうずまき（線形非分離な問題）は解けない」という誤解があるようなので、まずは1層でできるという絵を紹介。なお僕のタイムライン上では id:a2c が僕より先に気付いていたことを名誉のために言及しておきます。 で、じゃあよく言われる「線形非分離な問題が解けない」ってのはどういうことか。それはこんな問題設定。入力に適当な係数を掛けて足し合わせただけでは適切な境界を作ることができません。 こういうケースでは中間層を追加すると、中間層が入力の非線形な組み合わせを担当してくれるおかげで解けなかった問題が解けるようになります。 1つ目のデータセットでは特徴量の

昨日9月29日の一般社団法人未踏(未踏社団)の社員総会にて、私と川合秀実さんの理事就任が決まりました。このブログ記事で理事就任のあいさつに代えさせて頂きます。 未踏社団とは 公式ページはこちら: http://www.mitou.org/ 簡潔に言えば、未踏事業の関係者を中心に、創造的な人材の一人一人が創造性を最大限に発揮出来るよう、環境を整えていくことを目指す組織です。 西尾泰和とは 2002年度未踏ユース採択者で、現在はサイボウズ・ラボ株式会社にて研究開発をしています。主な関心分野は、ソフトウェアなどによる知的生産性の向上や、アイデアづくりの支援です。未踏社団の目標である「創造的な人材が創造性を最大限に発揮できる環境づくり」は、私自身の関心とも強い関連性があります。 何を大事だと考えているか ここから自己紹介もかねて、私個人が何を大事だと考えているかを共有したいと思います。 「一緒に居

ネット生活を幸せにする宗教 Virtual Religionに関して、書かれている内容は（儀式以外に関しては）受け入れられるのに、全体としては強い違和感があったのでなぜなのかを考えていました。結論としては、これは僕の宗教観と末永さんの宗教観の違いが原因だなと思ったのでここにメモしておきます。誤解がないように最初に明記しておくと、これは教義の修正を求めるものではありません。末永さんがこのような文書を公開することで僕が自分の宗教観を明確化する助けになったことに感謝します。 Virtual Religionの教義は、大部分が戒律のリストとして構成されています。おそらく戒律こそが宗教の核という末永さんの宗教観に基づくものなのでしょう。その考えは否定しません。現実に大部分の宗教は戒律を持っています。モーセが得たのも戒律でしたね。see モーセの十戒 - Wikipedia 一方で、僕の宗教観では「世

「エンジニアの学び方」第3章の帰納の例で数学的帰納法を例にあげているのですが、「数学的帰納法は帰納ではないのでは」という質問がありましたので解説を書きました。 なぜ「数学的帰納法は演繹」という主張が生まれたのかに関して id:shuyo さんとの議論を通じて僕は「ペアノの公理が導入されたことで、それ以前の数学的帰納法で帰納が使われていたステップが『自然数の定義』で置き換えられて演繹だけが残ったから」という理解に到達したのでペアノの側の主張も併記しておきました。 参考文献：科学と仮説 (岩波文庫)

オライリー・ジャパンから「word2vecによる自然言語処理」という電子書籍を出版しました。予定外のドタバタがあってブログで紹介するのが遅くなってしまいましたが、その間にオライリーのEbook Store Sales Rankingでは1位になっていました。 word2vecは2013年に論文が出たばかりの新しい技術です。色々な方がブログで取り上げていて、興味をもった方も多いと思います。知らない方のためにいくつかリンクを紹介しておきます： https://code.google.com/p/word2vec/ で少し遊んでみた。いわゆる deep learning で… Deep-learningはラテン語の動詞活用を学習できるか？ Can deep-learning learn latin conjugation? - naoya_t@hatenablog 自然言語処理をなにも知らない私

Deep Learningで単語を連続なユークリッド空間に投影したらそれが意味を表現すると盛り上がっているけど、それをやるのに最適化の難しいニューラルネットを使わないで正規分布だと思って最適化したらいい、という論文。 word2vecには直接論文上は言及していない。制限ボルツマンマシン(RBM)は一般にLDA(Letent Dirichlet Allocation)を超えるって言われてて、更に多層にして"Deep Learning"したら更に性能が上がるよ、なんて報告されているけど、最適化が難しいし、何を学習してんのかわかんないし、他のモデルとの接続が難しい。だから研究の場ぐらいでしか使われてない。 RBMでは隠れ層への重みが意味をコードしていて、LDAではp(k|w)が意味をコードしていて、結局のところ「単語がd次元連続ベクトルに対応している」というコンセプトが重要。というわけで単語をd

Qiitaとブログの違いがわからないと思ってたがだいぶ違うってことがわかった ブログでは記事に間違いがあった時にコメントで指摘して著者が修正するしかないが、Qiitaではプルリクエストを投げられる(投げてくれるかどうかわからないけど) 間違いがあって修正した時に、その記事を「ストック」している人に変更通知を飛ばすことができる Kobitoってアプリがあってローカルでリアルタイムmarkdownプレビュー Kobitoなら画像のアップロードもドラッグドロップでよい、Gistでは面倒 Emacsで編集してKobitoでリアルタイムプレビューも可 投稿データをJSONでダウンロードできる、他人のも テンプレートを作れるので社内Wiki的に同じフォーマットで複数の人が書く場合に揃えるのが楽 コメントを書いたりするのにgithubやQiitaのアカウントが必要なので非エンジニア避けになる 外に見えて

"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。 Deep Learning論文紹介「Deep learning via Hessian-free optimization」の続き。 病的な勾配の例と、それにニュートン法が向いていることの説明。たとえばニューラルネットである同じ層の2つのニューロンa, bについて入出力の重みがほぼ同じとする。aのある重みiを上げて、bの対応する重みjを下げるような方向dへの更新を考える。この時d方向の勾配はほとんど0。曲率もほとんど0。だから勾配法みたいな1次の最適化手法ではほとんど更新されない。一方ニュートン法みたいな2次の方法なら分母に曲率が来るからもっと速く更新される。 本題：ヘシアンフリー最適化について。ヘシアン

リカレントニューラルネット(RNN)を使って文章を生成する話。 RNNはパワフルだけど学習が難しい。Hessian-free最適化(HF)を使えばいい感じに学習できて、難しい問題に使える。 この論文では文字を入力として言語モデルを作って、そこから文章を生成する。 標準的なRNNだとちょっと問題があったのでmultiplicativeな亜種を作った。入力文字によって隠れ層のベクトルを次の層へ伝達する際の遷移行列を選べるようにしたものである。 multiplicative RNN(MRNN)をHFで、8つのハイエンドGPUを積んだマシンで5日掛けて学習した結果、既存の言語モデルを上回る成績を得た。 隠れ層の活性化関数はtanh、出力層は素通し。 Sequence memoizerはデータ構造の関係から32GBメモリのマシンで扱えるデータセットは130MBぐらい、MRNNはこの上限がない。 実験

リカレントニューラルネット(RNN)に長距離相関を学習させるのは難しい問題だったが、Hessian-Freeを使ったらできた、という話。 RNNはBack Propagation Through Time(BPTT)＋確率的勾配法で簡単に計算できることが長所とされているが、10タイムステップほど離れた相関は1次の勾配法では全然学習できない その原因は“vanishing/exploding gradients”。長距離相関はBPTTで何度も前の時刻の層へ伝搬されるため、誤差信号がすぐに減衰して消えてしまう。 最近生まれたHessian-Free(HF) またの名をtruncated-Newton, Newton-CG はDeep Neural Networksの学習に有効なので、RNNの学習にもきっと有効に違いない。 数式に関してはあんまり簡潔に要約できないので割愛。ここをじっくり読まない

"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。 ニューラルネットのパラメータ決定はよく研究されている問題で、勾配法で効率よく計算できると言われている。しかしDeep Learningのように隠れ層がとても多いケースではうまくいかない。学習にとても時間がかかったり、学習データに対してさえ酷いパフォーマンスしか出せなかったりする(under-fitting)。 最適化に関する研究者の間では勾配法が病的な曲率を持った目的関数に対しては不安定であることがよく知られている。2次の最適化法はこのような目的関数に対してもうまく働く。だからDeep Learningにもこの種の最適化を使ったらいいんじゃないか。 でもまだいくつか問題がある。まずでかいデータセットに対し

「原稿を書いては消し書いては消ししていて全然進まない」という話をよく聞きます。 これって「よくない精神状態」にハマり込んでいると思います。 考えてみましょう。人間が脳内で保持できる情報はどれくらいでしょう？原稿に文章Aを書いて、しっくりこないので消して、文章Bを書いた後で、文章Aのことをどれくらい覚えていますか？文章Aを書いている時に何を伝えることが重要だと考えていたか覚えていますか？ 「書いて消して」を繰り返している間、時間は消費されていますが、何も蓄積されていません。何も蓄積されないのであれば、問題はやさしくなったりはしません。ずっと同じ難易度のまま、あなたの前に立ちふさがり続けます。 原稿と戦っているうちに視野が狭くなって、自分が「よくない精神状態」にハマり込んでしまっていることを自覚できなくなるのは怖いことです。さらにはTwitterで愚痴ったり、ネットサーフィンをしてこんなサイト

昨日書いた手抜きの「量子将棋が面白い」記事が大人気ですが、ルールの解説を手抜きしたので誤解をしている人もいるようなのでQ&Aの形にしてみました。 Q: 運が関係する？ NO。運が関係するのは先手後手を決める振り駒だけ。残りは通常の将棋と同様の、運の要素が全くない、実力100%のゲームです。 Q: え？駒を取った時にその駒が確率でどの駒だったか確定するんじゃないの？ NO。それは軍人将棋からの連想なのかもしれないけども、正しくありません。例えば「香車か飛車のどっちか」という駒を取ったら、そのまま「香車か飛車のどっちか」として使えます。 Q: 打つときに香車として使うか飛車として使うか決めるの？ NO。打った直後は「香車か飛車のどっちか」という重ね合わせの状態です。もちそんその後で後ろに動かせば、香車がそのような動きをすることはありえないので、その駒は飛車であることが決まります。他にも、例えば

量子将棋というゲームが遊べるようになったということで、さっそくプレイしてみた。ルールは簡単に言うと、すべての駒は量子的な重ね合わせの状態にあり、どう動かしたかによって駒の状態が収束する。王将に収束した駒を取れば勝ち。(追記: ルールの解説書きました: 量子将棋 Q&A) 2勝2敗で結構面白かったので流れ去ってアクセスできなくなる前に感想をメモ。 1回目(勝ち) 棋譜: http://shogitter.com/kifu/884 僕の戦略 駒の種別が確定すれば取れる選択肢が減る。ということは必要がない限り駒は動かないほうが良い。動かさなければいけないのであれば歩の振りをするのが一番可能性が狭まらない。 王将に確定した駒を取れば勝ちなのであれば、相手の「王将かもしれない駒」をどんどん取って行って可能性を狭めるべき。 感想 駒の上にマウスポインタを置くと可能性のある駒の種類が出てくる 飛車を取る

ひっそりと運用していた質問に答えるとやる気を出すためのアドバイスをしてくれるシステムがつい先日で5000ユーザーを突破しました。このシステムのおかげでやる気が出たという方も2000人いるようで、作ったかいがあったというものです。 ところでこのシステムは、用意した回答の中から適切なものが見つけられなかった場合に「なぜやる気がでないのだと思いますか？」と自由記述で問いかけて、あらためて自分の気持ちを見つめてもらうというのをやっています。これだけデータが集まってくると、この自由記述の中にも共通のパターンが見えてきます。そこで、5000ユーザ突破記念ということでいくつかピックアップして解説します。 自虐的レッテル貼り 「なぜやる気がでないのだと思いますか？」という質問に対して「ぐーたらだから」「クズだから」「怠け者だから」「ダメ人間だから」「いつまでたっても一人前の仕事ができないから」という種の回

先日、こんな問題を見かけたのだけども、JavaのGCにはあまり詳しくないので答えがわからなかった。 OutOfMemoryErrorが発生しました。(中略)ヒープメモリは足りているようです。原因として何が考えられますか？ http://d.hatena.ne.jp/iad_otomamay/20130318/1363596244 なんでだろうなぁと思っていたところid:moriyoshiが「Permanent領域があふれたんじゃないの」と一言。「Permanent領域」で検索してみると、なるほど、そういうことなのかー。 というわけで早速それを再現させるコードを書いてみた。ヒープの大部分ががら空きなのにPermanent領域だけ99%になっているのがわかるかと思う。 Exception in thread "main" [Full GC [Tenured: 515K->515K(56896K

確かに、このテンプレには僕も飽きている： onk:「リンゴが10個あります。ランダムに3人で取り分けなさい」ってどうコードに落とすと綺麗かな。。 yoshiori: @onk ランダムだと！？！？ onk: @yoshiori 擬似ランダムでいいです yoshiori: @onk ふう、焦らせやがって……(俺の中でここまでテンプレ) yoshiori: もう、「ランダム」という言葉に反応してしまうのはネタでも良くない気がしてきた そこで新しいマサカリを考えてみた。「お前はなにを等確率にしたいんだ！？！？」 2個のりんごをAさんとBさんの2人に配ることを考えてみよう。全部で4通りの配り方がある。(A, A), (A, B), (B, A), (B, B)の4つだ。 この4通りを等確率にしたいのならば、それぞれのりんごについて1/2の確率でAとBに振り分ければ良い。ちなみにPythonのran

「めんどくさい」「やる気がでない」にも色々なパターンがあります。そこで質問に答えていくと解決策にたどりつくようなチェックリストを作ってみました。 追記: このエントリーの内容を元に平均10問の質問に答えるだけであなたの状況に合わせたアドバイスをする人工知能を作りました。オススメです。 Q1: やる気がでないのは今日に入ってからですか？ 数日やる気がでない状態が続いているのですか？それとも今日に入ってからかですか？ 今日に入ってから→Q2 数日続いている→Q8 Q2: 最近なにか新しい情報が明らかになりましたか？ たとえば計画段階では知らなかった事実が明らかになって、今までやってきた作業が無駄になったとか。何らかの情報が最近明らかになりましたか？ はい→状況が変わったのであれば、計画の通りに実行することが必要とは限りません。状況の変化に合わせて計画を変更したり中止したりしてはいけないのですか

「原稿書かなきゃいけないんだけどなぁ」とか言いながら現実逃避で読んでいた本「心は病気―役立つ初期仏教法話〈2〉」に心に刺さる言葉があったのでここに書いておく。 正確な引用ではないので、正確な言葉が知りたければP.60から3ページくらいを読むとよい。 人間が自信をなくす原因は、自信の持ちすぎである。 自分が「この程度の仕事サクッと終わらせられる」と思っているのに、実際にやるとうまくいかないとき、人は自信をなくす。 「抜群のスピーチをしよう」と思って、実際にはうまく喋れなくて、自信をなくす。 妄想の中の自分が事実に反して素晴らしすぎるから、その「妄想の中の素晴らしい自分」が振る舞うように振舞おうとして、できないので苦しむ。 「自分の仕事に自信がない」というのは、奇跡的な成功を頭で妄想しているせい。現実の自分ができるようにしかできない。できることをすればよい。「自分は精一杯やった」と思える状態を