このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
chainer-compilerのその後
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
ChainerMNのクラウド環境向け新機能とAWSにおける性能評価 - Preferred Networks Research & Development
※この記事はChainer Blogの抄訳です Chainer にマルチノードでの分散学習機能を追加するパッケージであるChainerMN に、ネットワークスループットが低いシステム向けの以下の2つの機能をv1.2.0とv1.3.0で追加しました。 Double bufferingによる通信時間の隠ぺい機能 半精度浮動小数点数(FP16)によるAll-Reduce機能 ChainerMNは高速なネットワークを持つスーパーコンピュータやMicrosoft Azureのようなシステムを想定して開発してきたため、高速なネットワークのない環境では高い並列性能を達成するのが難しいという問題がありました。しかし、これらの機能を使うことで、GTC2018で発表したようにAmazon Web Services (AWS)のような一般的なシステムでもChainerMNによって高い並列性能を達成することができ
分散深層学習を支える技術：AllReduceアルゴリズム - Preferred Networks Research & Development
本記事は、2017年インターンシップを経て現在はアルバイトとして勤務されている上野さんによる寄稿です 数式が正しく表示されない場合は、こちらのリンクから再読込をお試しください。 みなさんはじめまして。Preferred Networksの2017夏季インターンに参加し、現在アルバイトをしている上野裕一郎です。普段は東京工業大学でHigh-Performance Computingに関する研究を行っており、分散・並列計算に興味があります。 今回は、分散深層学習を行う際に使用されるAllReduceという通信パターンについて調査・実装・評価を行いましたので、それについてご説明いたします。 分散深層学習とは 現在、ディープニューラルネットワークを用いた学習には長い時間がかかることが知られています。そして、様々な種類のモデルや、大量のデータを組み合わせて学習を試すためには、学習にかかる時間を短縮す
ディープラーニング入門：Chainer チュートリアル
Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ
Chainerを高速化するiDeepをインストールする - Qiita
はじめに Chainer 4からiDeepが正式にサポートされるようになりました。iDeepを使うことでCPUによる学習・推論が高速になります。もちろん、iDeepはXeon系のCPUを主なターゲットとしていますが、経験上ノートPCレベルでも多少の速度向上があります。 iDeepの活用方法について説明したウェブサイトはいくつかあるのですが、導入をMKLのインストールから通しで説明しているサイトがなかったので、備忘録のためにiDeepの導入方法を記載します。 なお、本説明はUbuntu 16.04、Chainer 5.0.0rc1を対象にしています。iDeepやChainerのAPIは今後どんどんかわってゆくと思われるので、適宜ソースのサイトを参照してください。 手順 Pythonの導入 適当な方法でPythonが使える環境を作ります。このとき、Pythonのshared objectを忘れ
Chainer/ChainerMNのおすすめなプロファイルの取り方＆プロファイルの見方の注意点 - Qiita
自分への備忘録的な意味も込めて最近まとめたので、私が実践しているChainer/ChainerMNのプロファイルの取り方とプロファイル結果の見方を紹介します。 この記事で使うプロファイラは、Chainerのプロファイルを取る際まず取るべきと思われるcProfileとnvprofの二つです。 環境 Python: 3.6 Chainer: 5.2 CuPy: 5.2 CUDA: 9.0 MPI: OpenMPI 1.10.7 参考コード この記事ではChainerMNのmnistのサンプルをベースに改造したコードで説明を行っています。 mnistのオリジナルのコードはこちら。 https://github.com/chainer/chainer/blob/v5/examples/chainermn/mnist/train_mnist.py 改良後のコードはここに上げてあります。 https:
Chainer-compiler調査（1）
今日から Chainer-compiler について調べてみよう。 DeepLearning コンパイラ、先日のFPGAXでも話題になってましたね（リモートでちょっと見てました） PFN からの release はこれ Chainer モデルのさらなる高速化、デプロイの簡便化、可搬性の向上に向けた実験的な取り組みについて | Preferred Research 今日見るソースとバージョンはこれ。experimental な点注意。 pfnet-research/chainer-compiler at 1c788abbaf5fc74533d332b3141d5a141b6db020 https://github.com/pfnet-research/chainer-compiler/tree/1c788abbaf5fc74533d332b3141d5a141b6db020 README を
Chainerモデルのさらなる高速化、デプロイの簡便化、可搬性の向上に向けた実験的な取り組みについて - Preferred Networks Research & Development
PFN のエンジニアの浜地です。入社以来取り組んできた実験的なプロジェクト Chainer-compiler を github で公開しました。まだ実運用に投入していける段階では無いですが、面白いものになってきているのではないかと思うので、紹介させてもらいたいと思います。 https://github.com/pfnet-research/chainer-compiler 昨年末、 PFN は ChainerX をベータリリースしました。 ChainerX は Chainer の使いやすさを維持しつつ、 Python で実装されていた部分を C++ 実装で置き換え、以下の3つを実現するものでした。 モデルの実行を高速化する Python の無い環境でもデプロイ可能にする CPU/GPU以外への移植を容易にする Chainer-compiler プロジェクトは ChainerX を利用して、
メディカルAI専門コース オンライン講義資料
News¶ 2019/12/06: 講義資料Ver 1.1を公開（2019年度版） 2018/12/17: 講義資料Ver 1.0を公開（2018年度版） 本講義資料について¶ 本ページは 日本メディカルAI学会公認資格：メディカルAI専門コースのオンライン講義資料（以下本資料） です． 本講料を読むことで，医療で人工知能技術を使う際に最低限必要な知識や実践方法を学ぶことができます．本資料は全てGoogle Colaboratoryというサービスを用いて執筆されており，各章はJupyter notebook (iPython notebook)の形式（.ipynb）で以下のリポジトリにて配布されています（notebooksディレクトリ以下に全ての.ipynbファイルが入っています）： japan-medical-ai/medical-ai-course-materials 想定受講者¶ 受
ハイパーパラメータ自動最適化ツール「Optuna」公開 - Preferred Networks Research & Development
ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna の開発に至った動機や特徴を紹介します。 公式ページ 公式ドキュメント チュートリアル GitHub ハイパーパラメータとは？ ハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータのことです。特に深層学習では勾配法によって最適化できない・しないパラメータに相当します。例えば、学習率やバッチサイズ、学習イテレーション数といったようなものがハイパーパラメータとなります。また、ニューラルネットワークの層数やチャンネル数といったようなものもハイパーパラメータです。更に、そのような数値だけでなく、学習に Momentum SGD を用いるかそれとも Adam を用いるか、といったような選択もハイパーパラメータと言えます。 ハイパーパラメータの調整は機械学習ア
Chainerで書いたニューラルネットの理論計算量を推定するchainer_computational_cost | さかな前線
海洋の生物量の推定をするときには、実際にある空間の種ごとの個体数を1匹1匹数えるわけにはいきません。そこで、水中に残った生物の細胞のDNAすなわち環境DNAの密度を手がかりにして推計をするのだそうです（バケツ一杯の水で海洋生物の量や種類を知る）。 Chainerで書いたNNとダミー入力があるとき、そのNNのforward passの理論的な計算量・メモリ転送量を計算するchainer_computational_costを作りました。 ChainerのFunction Hookをベースにしているため、NNの定義コードに手を入れる必要は一切ありません。 背景 TL;DR 闇雲に軽いNNを探すより定量的で気軽に使える指標がある方がいいですよねという話です。 ニューラルネット技術の実用化が進む中でいかに精度を保ちながら軽いアーキテクチャを探すかはとても重要です。手動にせよ自動にせよ、基本的には設
Chainer 4.0 + iDeep がすごい
Chainer 4.0 + iDeepで簡単にパフォーマンス測定をしたところ、なかなかすごかったので、メモです。 せっかくなので、Google Cloud Platform(GCP)のAlway freeのインスタンス、f1-microで動かしてみて、パフォーマンスを比較してみました。（安いインスタンスでも速くなるというのを確認したかったので） 参考： pip で MKL にリンクされた numpy, scipy が自動的にインストールされるようにする iDeep を使ってCPUでのChainerの推論速度をアップしよう インストール方法 以下、Ubuntu 17.10 に入れています。 https://software.intel.com/en-us/mkl から、"Intel Math Kernel Library"をダウンロード 既存の chainer、numpy をアンインストール
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - chainer/onnx-chainer: Add-on package for ONNX format support in Chainer
chug -Chainer User Group- - YouTube
GitHub - mitmul/chainer-cifar10: Various CNN models for CIFAR10 with Chainer
Chainer で Tensor コア (fp16) を使いこなす
https://www.nvidia.com/content/apac/gtc/ja/pdf/2018/2033.pdf
【DLL3】20170904_ChainerMN_PFN福田圭祐
GitHub - mitmul/chainer-handson: CAUTION: This is not maintained anymore. Visit https://github.com/chainer-community/chainer-colab-notebook/
[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也![[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也](https://cdn-ak-scissors.b.st-hatena.com/image/square/66e3116fe2b19c0d819e076fb248e48ee7b0258b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fgtcj2018optimizingdeeplearningwithpfnseiyatokui-181009073509-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
