サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
mosko.tokyo
情報系の博士学生をしていて使っているツールなどをまとめてみました.しばらく自宅待機で研究室に行けない研究室入りたての人,などの役に立てば幸いです. 筆者の環境 ラップトップとしてMacBook Pro,タブレット端末としてiPad Pro+Apple Pencilを使っています.また,実験の際にはUbuntuの外部サーバーにアクセスすることを前提としています. 論文を読む 論文を読む際にはGoodNotesを使って,研究テーマやプロジェクトごとに論文をまとめた上で書き込んでいます.iPadとMacで同期して使うと端末の特徴に合わせた使い方ができます.例えば,論文に書き込みながら読むのにはiPadの方が向いていますし,複数の論文をテーマに応じてまとめるのはMacのほうが楽な気がします. 文献の管理は紆余曲折ありましたが,GoodNotesにまとめるにとどまっています.bibファイル生成のため
After being extremely popular in the early 1990s, neural networks have fallen out of favor in research in the last 5 years. In 2000, it was even pointed out by the organizers of the Neural Information Processing System (NIPS) conference that the term “neural networks” in the submission title was negatively correlated with acceptance. In contrast, positive correlations were made with support vector
はじめに ディープラーニングの帝王1Geoffrey Hinton先生が20年来温め続けてきたというCapsules Network(CapsNet)を実装し成果を出して論文を出しました(Dynamic Routing Between Capsules).この記事ではこのCapsNetについて簡単にまとめます. Hinton先生の業績は並べても感嘆するばかりで仕方ないのですが,帝王でおはしますと同時に認知心理学者でもあります.このCapsules Networkも脳のコラム構造を真似ることでCNNよりも人間の認知機能に近い認識器をつくることが目標です. 本論文の要点は以下の通りです. 今まで重みと入力の内積というスカラーの塊であった層を,Capsulesという「ベクトルの塊」とすることで「姿勢」などの情報を扱えるようにした. 層間のCapsulesの結合(routing)を学習できるように
PyTorchとは PyTorchはFacebookの開発するPython上でのテンソル計算・自動微分ライブラリで,特にディープラーニングに必要な機能が充実しています.2017年の初頭に公開され,瞬く間にTensorflow, Keras, Caffeに続くディープラーニングライブラリとして人気を博すこととなりました. Bonus: stars (not an indicator of usage, just proportional to how many people have landed on the GitHub page over the period). pic.twitter.com/IugHJqHSii — François Chollet (@fchollet) April 12, 2017 PyTorchはPreferred Networkのディープラーニングライブラ
はじめに PyTorch v0.2では"Higher order gradients” (double backpropagation)がサポートされました.Chainerもv3においてこれがサポートされます.今回Chainer Meetupの資料を読んで雰囲気が分かったのでまとめました. Comparison of deep learning frameworks from a viewpoint of double backpropagation Chainer v3 筆者は長くdouble backpropagationという名称から \[\mathrm{loss}\longrightarrow \frac{\partial^2 \mathrm{loss}}{\partial x_i \partial x_j} \] と思い込んでいました.そう思っているのでdocumentを読んでも
はじめに 前回の記事に,「ベンチマーク函数があるよ」というフィードバックを頂きました.test functions for optimizationというWikipediaの記事にまとまっていたので,今回はこちらにあるRosenbrock function($f_{R}=100(y-x^2)^2+(x-1)^2$,大域解$f_{R}(1,1)=0$)を使います.Rosenbrock函数には大域解を含む広い濠があって大域解が見つけにくいのが特徴です. 一般に勾配法の更新方法はバッチ更新と呼ばれます.つまり勾配降下法であれば学習事例$n=1,2,\ldots,N$に対して個々の誤差函数$E_n$の和 \[E(x)=\sum_n E_n(x)\] について$x\gets x-\alpha\nabla E$と更新していました. 確率的な(stochastic)では$n\in\{1,\ldots,N
先日Facebookが PyTorch を公開していたので,早速試してみた.PyTorchは Tensors and Dynamic neural networks in Python with strong GPU acceleration. とのことで,TensorFlowやTheanoより,Chainerに似ている気がする.後発ということもあってか,ウェブページにある導入の説明が丁寧で,Linux,Python 3.5,conda,Cuda8.0なら conda install pytorch torchvision cuda80 -c soumith を叩くだけでよい.その下にはMNISTなどの例やJupyterのチュートリアルへのリンクがあるのも丁寧.ただ,ニューラルネットワークの知識に乏しくともレイヤーを重ねてscikit-learn風によしなにすればよいkerasよりは難しい
このページを最初にブックマークしてみませんか?
『Ryuichiro Hataya’s webpage』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く