ResNets, HighwayNets, and DenseNets, Oh My!
When it comes to neural network design, the trend in the past few years has pointed in one direction: deeper. Whereas the state of the art only a few years ago consisted of networks which were roughly twelve layers deep, it is now not surprising to come across networks which are hundreds of layers deep. This move hasn’t just consisted of greater depth for depths sake. For many applications, the mo
Attention and Augmented Recurrent Neural Networks
Recurrent neural networks are one of the staples of deep learning, allowing neural networks to work with sequences of data like text, audio and video. They can be used to boil a sequence down into a high-level understanding, to annotate sequences, and even to generate new sequences from scratch! x0 y0 x1 y1 x2 y2 x3 y3 One cell... can be used over... and over... and over... x4 y4 again. The basic
「なぜ猫は鏡を見ないか？」 - shorebird 進化心理学中心の書評など
なぜ猫は鏡を見ないか? 音楽と心の進化史 (NHKブックス) 作者: 伊東乾出版社/メーカー: NHK出版発売日: 2013/01/26メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見る 書名からは，動物の自己鏡映認知にかかる本だと思ってしまいそうだが*1，これは音楽家である著者が音楽の本質を理解しようと認知科学の力を借りながら知的奮闘してきた探求物語だ．副題には「音楽と心の進化誌」とあるが，特に進化的に何かが深く考察されているわけではない*2． というわけで「自己鏡映認知」的な書名と「進化誌」という単語に釣られて購入し，読み始めた私にとっては内容的には肩すかしのはずだったのだが，しかしこれは読み出したら止まらない，大変面白い本だ． まず著者の経歴が型破りだ．著者は中学2年でバルトークの「作曲技法」に入れ込み，FM放送で現代作曲家の松村禎三の「交響曲」を聴いて惹きつ
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
視神経モデル網膜シミュレーション -Retina simulation of Human Visual System-: ヘキサドライブ日記
気がつけば冬の到来。皆様風邪などひいてないでしょうか？ こんにちは、イワサキです。 以前からだいぶ間が空いてしまいまして、久々に技術デモを掲載してみようと思います。 今までもコンピュータグラフィックス以外の他の分野にも目を向けながら技術デモを紹介してきていますが、 今回は医学の分野に少し触れてから、その切り口でゲームCGを考えてみようと思います。 写実的なリアリティを目指していこうとすると、最終的に行き着くのは「本物の再現」になります。 今後DirectX11世代からはその考えがゲームCGでも加速していくのは間違いないと思いますが。そうなってくると、シーンの計算が終わった後、最終的な画面への反映の方法も重要になってきます。 現実世界には光を受けて映像化するデバイスは数あれど、主に次のどれかに分類できると思います。 フィルム センサー 肉眼 感光フィルムは昔ながらのスチルカメラで感光剤を塗布
現実のアプリケーションはこれからも勝手に疎結合になっていく ---そしてmap-reduceこそが並列処理の王道 - 最尤日記
まあ以下の文章をダシにする必要は無い内容になっちゃったけど： さてHadoop関連の某セミナーへの参加者が900人を越えたそうです。個人的にはHadoopを必要としている人、またはHadoopに関わる人というのはそれほど多くないと思うのですがね。HadoopのもととなったMapReduceは良くも悪くも、きわめて癖が強い分散処理手法。それをベースにしたHadoopも当然、汎用的なシステムではなく、データ特性や処理内容を選びます。どちらかというと既存のデータ処理に問題を抱えている方で、その中で問題解決にHadoopがたまたま向いている方になると思うのですがね。 それとHadoopを使うと分散システムは様々な難しい問題を解決すると思っている方が多いのも気になります。分散システムのは難しい問題のほとんどは、元を辿れば通信遅延に起因します。つまりコンピュータ間で情報共有する場合、他のコンピュータに
日記のようなもの
トップページへ戻る 過去の日記へ 予定 8/3 9:00 - 会議(議事録) 8/7 日本機械学会 第22回計算力学講演会予稿締め切り 8/10-14 YKIS2009 9/25 - 9/28 熊本大学黒髪キャンパス 発表：26aQD-8,26pQL-7, 26pQL-11, 25pQC-11 座長：26aQD 10/10-12 計算力学研究会＠金沢 12/15-18 第３回分子シミュレーションスクール 8月9日(日) スライドなんとか作った。もう出発の日の朝じゃないか。 京都・・・暑いかなぁ・・・。 京都ついた。なんか台風が来ている。 京都に行くまでの電車の友として、なんとなくゴルゴ１３を買った。 内容はゴルゴと、その行動を読むスーパーコンピュータが闘うという話。 なんということは無い話だが、その途中の「ゴルゴ１３ファイル」というコーナーに スー
計算的な深さと脳
ニューロンが入力を受けてからスパイクを出すまでは早くとも数ミリ秒かかる。人間が反応するまでの時間は零点何秒かだから、入力と出力の間には最大に見積もっても数十段のニューロンが介在するだけである。（実際はもっと段数が低いだろう。） 一方コンピュータの方は現在のネズミ以下の判別能力しかないような画像認識をするにあたってさえ数千万サイクルの計算を行わなくてはならない。 だから、脳が物凄い並列計算をやっているに違い無い。ここまでは普通の話ね。 で、問題は「じゃ、物凄い並列な機械をつくったら脳の能力を再現できるのかよ」ということ。もちろん誰も答えをしらない。どんなアルゴリズムを使えば良いか分からないし。 人によっては絶望して「新しい物理法則を」とか「量子論的並列性」とか、「魂」とかに行っちゃう。 で、僕も答えは持って無いけど、この問題を考えるにあたって以下の「計算的大きさ」と「計算的深さ」の概念を
「計算的な深さ」について - 186 @ hatenablog
▼ 「計算的な深さと脳」 で書いた計算的深さの概念はシンプルかつ重要だと思う。 もしそうならこの程度の概念がすでに専門の学者によって発明されていないはずはない。そう思ったのだけど、相変わらず私のアンテナにはかかってこない。もしかしたらまだ存在しないのだろうか。 (中略) ここで、試論として、「2入力NANDゲートだけで最速な回路構成をした時の計算時間」と定義する。こうすれば大きさNのメモリによる解決はlog N時間かかる事になる。同じ問題を、テーブルで解いてもハードワイアードロジックで解いても同じ程度の時間になるだろう。 ご想像の通り, 既にあります. (並列計算量とか回路計算量の文脈で調べると良いんじゃないかと.) Complexity Zoo - Qwikiから引っ張ってくると, こんな感じ. ACi 多項式サイズ/unbounded fan-in/AND, OR, NOT/深さO(l
最上の日々
▼ このあいだ敷金、礼金は要らないけど取り立てや追い出しの厳しい不動産屋がたたかれた。おそらくああいうビジネスは無くなるだろう。で、悪は滅びて世の中はどう？ 反対にアレを放置したらどうなっただろうか。あの業者が儲かりすぎであったとしたら、他の業者がどんどん参入したはずだ。 そうするとサービス競争が始まる。なにもあそこまで厳しく取り立てなくとも少し待ってあげれば払う人もいるだろう。厳しい取り立てっていうのは随分人件費がかかるはずで、取り立ての厳しくない業者も出てくるだろう。当然そっちが人気になるはずですると市場全体がそっちに行く。結果として礼金とか保証人が要らない不動産が増えるという結果になるだろう。 実際アメリカとかでは礼金とか保証人とかはとらない訳で、 おそらくそういう均衡は可能なはずなのに、相変わらず保証人や礼金を取る現状が維持されている理由には こういうみんなで新しい異物を排除す
最上の日々 - ミラーニューロンの形成機序と、仕組み
▼ 確率ロボティクス(Thurn, Burgard & Fox) を、買ってしまいました。タイトルにビビッときたから。 脳の基本原理は確率論的な最適化問題を解く事だと言うのが私の意見だ。 良く言われる「脳の凄いところ」は 不良設定問題を解ける、 ノイズがある状況でもロバスト、 （視覚認識などに見るように）速い ところだ。 この３つの特徴はどれも確率論的最適化問題のフレームワークが脳の原理であると考えれば理解できる。 不良設定問題を解けるのは、過去の全経験に照らして圧倒的な多数になっているものを解として選ぶからだ。 ノイズに対してロバストなのはまさに確率論の特徴だ。 そして、同じ問題の確率論バージョンと古典バージョンを比較すると確率論バージョンの方が、中間の素子数は増えるけど、計算的に浅くなる傾向がある。 だから速いのだ。 （確率論と不良設定とロバストさの関係については、大体どの研究
Account Suspended
Account Suspended This Account has been suspended. Contact your hosting provider for more information.
WIRED VISION / 神経細胞を仮想環境に接続――「意識」は生まれるか
神経細胞を仮想環境に接続――「意識」は生まれるか 2007年9月28日 サイエンス・テクノロジー コメント： トラックバック (1) Brandon Keim 2007年09月28日 神経細胞を培養するための多電極アレイ Credit:ジョージア工科大学神経工学研究室(4枚とも) 哲学者のルネ・デカルトが「われ思う、ゆえにわれあり」と言ったとき、おそらく、ネズミの神経細胞群が培養皿で切手サイズにまで育てられ、コンピューターに接続されるといった事態は想像していなかっただろう。 長年にわたり、科学者たちは、研究室で培養された脳細胞の発火パターンを観察することで、脳の発達についての研究を進めてきた。 しかし最近まで、培養皿の脳細胞は、情報を受け取ることができなかった。実際の灰白質とは異なり、信号を送ることしかできなかったのだ。 ジョージア工科大学の科学者チームは、より本物の脳に近い活動をする神経
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mypress.jp
最上の日々
TechCrunch Japanese アーカイブ � チェスは集団知で遊ぶもの？
最上の日々 - 英語の"a"と"the"の使い分けが分からない私の為のノート