Newton vs the machine: solving the chaotic three-body problem using deep neural networks
Since its formulation by Sir Isaac Newton, the problem of solving the equations of motion for three bodies under their own gravitational force has remained practically unsolved. Currently, the solution for a given initialization can only be found by performing laborious iterative calculations that have unpredictable and potentially infinite computational cost, due to the system's chaotic nature. W
情報学広場：情報処理学会電子図書館
※ユーザ登録は無料です． 本電子図書館のご利用にあたっては「情報処理学会電子図書館利用規約」をご遵守下さい。 掲載されているコンテンツには無料のものと有料のものがあります。有料コンテンツのご購入はクレジットカード決済のみとなります。 領収書をご希望の方は「電子図書館専用領収書発行依頼」（送信フォーム）にてご連絡ください。 複写および転載をされる方へ一般社団法人情報処理学会では複写複製および転載複製に係る著作権を学術著作権協会に委託しています。当該利用をご希望の方は、学術著作権協会が提供している複製利用許諾システムもしくは転載許諾システムを通じて申請ください。 尚、本会会員（賛助会員含む）および著者が転載利用の申請をされる場合については、学術目的利用に限り、無償で転載利用いただくことが可能です。ただし、利用の際には予め申請いただくようお願い致します。
転職してからやってること - 兼雑記
転職してからやってるプロジェクトについて何か書いてみようかと思います。 https://github.com/pfnet-research/chainer-compiler/ 公式ぽいブログも書きました。 https://research.preferred.jp/2019/01/chainer%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E3%81%95%E3%82%89%E3%81%AA%E3%82%8B%E9%AB%98%E9%80%9F%E5%8C%96%E3%80%81%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AE%E7%B0%A1%E4%BE%BF%E5%8C%96%E3%80%81/ あまり綺麗にまとまった文章を書ける気がしないので、つらつらと時系列で思い出して行こうかと思います。 転職前、 define
論文紹介: Adding One Neuron Can Eliminate All Bad Local Minima - Qiita
tl; dr Liang et al., 2018. Adding One Neuron Can Eliminate All Bad Local Minima. NIPS. ある前提条件を満たすニューラルネットワークに、ある特殊なニューロン (exponential neuron) を1つ加えると、そのニューラルネットワークの局所解は大域最適な解になる 前提条件: 二値分類問題 特殊な損失関数（Cross entropyなどはダメ） Exponential neuron: $a \exp(\mathbf{w}^Tx + b)$ を入力から出力層へのskip connectionとして追加 提案手法を数学的に証明（実験はなし） 大域最適な解の汎化性、提案手法を導入したことによる局所解に至るまでの時間の変化については議論していないので注意。 @incollection{NIPS2018_768
NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える - 渋谷駅前で働くデータサイエンティストのブログ
(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986) これはちょっとした小ネタです。僕自身はニューラルネットワーク (Neural Network, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に把握していた事由に基づいて、極めていい加減な私見を書いているに過ぎないことを予めお断りしておきます。よって、この辺の事情に詳しい方いらっしゃいましたら、後学のためにも是非ご遠慮なくツッコミを入れて下さると有難いですm(_ _)m 先日のことですが、@tmaeharaさんがこんなことを呟いておられました。 オリジナル論文 https://t.co/kXfu8jIat3 これです．本当にただチェインルールで微分して勾配法しているだけにしか見えない……．— ™ (@tmaehara
Google ColaboratoryのTPUを試してみる
TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 ハードウェアアクセラレータにTPUが使えるようになってる！？TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIntelのHaswell CPUとNVIDIAのK80 GPUと比較すると、性能は15～30倍、電力効率は30～80倍になっているという。 NVIDIA K80は現在ColabのGPUアクセラレータとして用いられているGPUだ。もしこの15～30倍という値が本当なら、
論文紹介 Understanding Batch Normalization - じんべえざめのノート
今回は、NIPS2018に投稿されたUnderstanding Batch Normalizationという論文を読んだので、紹介していきたいと思います。この論文は、なぜバッチ正規化（Batch Normalization）が学習に効果的なのかを実証的なアプローチで検証した論文です。 この記事は、ニューラルネットワークの基礎（全結合層や畳み込み層）を理解している方を対象にしています。また、可能な限りバッチ正規化を知らない方でも理解できるようにしています。この記事を読み終わるころには、「なぜバッチ正規化が学習に効果的なのか」が分かるようになっています。 ニューラルネットの基礎は以下の記事で紹介しています。 ニューラルネットワーク入門 KelpNetでCNN この記事は論文を要約したものに説明を加えたものとなっています。記事内で１人称で語られている文章については、多くが論文の主張となっています
再帰型ニューラルネットワークベースの音声区間検出が WebRTC に入った
再帰型ニューラルネットワーク(RNN) については一切理解していません。さらに音声区間検出(VAD)についてもどんなものかくらいしか理解していません。 理解していないだらけで申し訳ありませんが、自分のメモがてらに書いていきます。
Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognitionを読んだ - Qiita
Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognitionを読んだPython機械学習 Hara, Kensho, Hirokatsu Kataoka, and Yutaka Satoh. "Learning spatio-temporal features with 3D residual networks for action recognition." Proceedings of the ICCV Workshop on Action, Gesture, and Emotion Recognition. Vol. 2. No. 3. 2017. arXive 1.どんなもの？ ResNetsを拡張して3DCNNに適用 ActivityNetおよびKineticsデータセットを3
Ideinの技術や事業の紹介
Ideinの中村です。弊社は4/7でちょうど設立3年目を迎えたベンチャー企業です。この記事では主に弊社の取り組む課題や事業などについて紹介したいと思います。主にエンジニアや研究者の方々向けに弊社が何をやっているのか知ってもらう事を目的として書いています。 社名・ロゴ社名のIdeinはイデインと読みます。アイデア(Idea)の語源になったと言われているギリシアの言葉で見る・知るという意味があります。画像認識技術をやっていく気持ちを表しています。ロゴは八咫烏です。 課題IdeinはDeep Neural Network(DNN)による画像認識等の推論技術を、ハードウェア製品に搭載する技術に取り組んでいます。クラウドやサーバーではなく末端のデバイス上でDNNモデルによる推論を実行するニーズが近年高まっています。 最近はEdge ComputingとかOn Device Inference等と呼ば
Common Lispでゼロから作るディープラーニング （2）誤差逆伝搬法での学習 - Qiita
前回は既に学習済みのパラメータがあるものとして、そこからフォワード計算を行ない予測を出すところを実装しました。今回は、データからパラメータを学習するところの実装について考えてみます。具体的には、「ゼロから作るDeep Learning」の5章にある、計算グラフベースでの誤差逆伝搬法の実装と、それを使った隠れ層二層のニューラルネットの学習と予測について書こうと思います。 一応Githubにレポジトリ作りました（まだあまり整理されていない）。ちなみに処理系はSBCL 1.4.3で動作確認しています。 https://github.com/masatoi/cl-zerodl インストール手順は上記を参照してください。 準備 前回と同様に必要ライブラリを読み込み、作業用パッケージを定義しておきます。 metabang-bindは分配束縛などに対応したletの拡張版のような構文を導入するライブラリで
非公開サイト
サイトの構築。作品の販売。ブログの投稿。この他にもさまざまな機能があります。 ログイン サイトをはじめよう 非公開サイト このサイトは現在プライベート設定になっています。
An Analysis of Deep Neural Network Models for Practical Applications
Since the emergence of Deep Neural Networks (DNNs) as a prominent technique in the field of computer vision, the ImageNet classification challenge has played a major role in advancing the state-of-the-art. While accuracy figures have steadily increased, the resource utilisation of winning models has not been properly taken into account. In this work, we present a comprehensive analysis of importan
「A Survey of FPGA Based Neural Network Accelerator」の邦訳
今回は2/17日にドワンゴさんで行われたFPGAXでの発表で紹介したサーベイ論文「A Survey of FPGA Based Neural Network Accelerator」の邦訳を掲載することにする。 稚拙ながら発表スライドも以下にあるので興味のある方はぜひ御覧ください。( ´∀｀) https://www.slideshare.net/leapmind/an-introduction-of-dnn-compression-technology-and-hardware-acceleration-on-fpga-88557866 A Survey of FPGA Based Neural Network Accelerator Kaiyuan Guo, Shulin Zeng, Jincheng Yu, Yu Wang, Huazhong Yang https://arxiv.o
畳み込みニューラルネットワークの最新研究動向 (〜2017) - Qiita
昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は，生物の脳の視覚野に関する神経生理学的な知見1を元に考案されたNeocognitron2に見ることができる．Neocognitronは，特徴抽出を行なう単純型細胞に対応する畳み込み層と，位置ずれを許容する働きを持つ複雑型細胞に対応するpooling層とを交互
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vishwak Srinivasan on Twitter: "My open source journey so far - how it started and why I choose to continue traveling the lands of code while being… https://t.co/YWQyyZ32H1"
Approximating CNNs with Bag-of-local-Features models works...
Tasuya Kida on Twitter: "DeepLearning のコード付き論文がちゃんとカテゴライズされてまとまっていて。ウルトラスーパー最高のウェブサイトすぎる。 / https://t.co/ghoGpHne6y"
ソニーのボードコンピュータ「SPRESENSE」でAI開発ツールが利用可能に
Seamless on Twitter: "マックス・プランク研究所ら、単一カメラから手指の追跡をするCNNを用いたリアルタイム3Dハンドトラッキング技術を発表。物で隠れた指も正確に推定 https://t.co/PGfsTF8BeI GIFの途中3画面では、真中の映像が本… https://t.co/LPuqeqkqUN"