TensorFlow・PyTorchによる分散学習
深層学習モデルの学習は、学習データの一部を抽出・勾配を計算するミニバッチ学習によって行われることが一般的です。勾配のばらつきを抑えるためには、ある程度のバッチサイズを保持する必要があります。一方で、バッチサイズの上限は利用するマシン（GPUやTPU）のメモリによって制約を受けるため、大規模なモデルや高解像度画像などを用いる際には、バッチサイズを小さくせざるを得ない場合があります。 これに対して複数のGPUや計算ノードを利用できる場合には、並列化によって単一GPUの時よりも大規模な学習を行うことができます。複数の計算機を用いた並列学習（分散学習）には大きく分けてデータ並列とモデル並列が存在しており、合わせて利用することもできます。 データ並列（Data Parallel）：ミニバッチを複数の計算機に分散する方法 モデル並列（Model Parallel）：一つのモデルを複数の計算機に分散する
TensorFlow Lite 2.1 on STM32F | Natural Days
TensorFlow 2.1.0がリリースされていた。最近はなぜか組込み向けでDeep Learningをする話がやってくる事があって、TensorFlow Liteを使ったりしている。 TF Liteを使ってみたことがある人は分かるだろうけど、TensorFlowのHP・ドキュメントにある通りにやっても基本的にビルドできない、サンプルが動かない、ドキュメントのリンク先は404 not foundという「一体これは何だ？動くのか？」という思いが最初に来ると思う。さらにはLayerの制限で、このモデルを作ったはいいけど、TF Lite上で動かしたらエラーで動かん…とか罠が満載で快感すら覚えてしまう。 自分もバージョンが変わる事に起きるドラスティックな変更で、これはどうすれば動くんだ？というので頭を抱えてしまう。 サクサク動いてめちゃ便利なんだけど、動かすまでが大変な沼にハマる…ということで、
PyTorchモデルをモバイルやエッジで利用するための方法の整理 - ほろ酔い開発日誌
はじめに 最近では、Deep LearningのライブラリとしてPyTorchが利用される機会が多くなっています。私自身も以前はTensorflow/Kerasを利用していましたが、現状はPyTorchを使うことがほとんどです。 しかし、PyTorchは実装がしやすいものの、モバイルやエッジデバイスへのデプロイを考える上では不安な点が残ります。今回は、PyTorchを様々なプラットフォーム上で利用することを考えたときにどのような方法があるかを整理します。 モバイル 選択肢の整理 現在、モバイル (iOS/Android)へのデプロイを考えるときにメジャーな選択肢が3つあります。 Core ML (Apple) PyTorchをonnxに変換し、onnxをcoreMLに変換する Tensorflow Lite (Google) PyTorchをonnxに変換し、Tensorflow/Kera
[Tensorflow Lite] Various Neural Network Model quantization methods for Tensorflow Lite (Weight Quantization, Integer Quantization, Full Integer Quantization, Float16 Quantization, EdgeTPU). As of May 05, 2020. - Qiita
[Tensorflow Lite] Various Neural Network Model quantization methods for Tensorflow Lite (Weight Quantization, Integer Quantization, Full Integer Quantization, Float16 Quantization, EdgeTPU). As of May 05, 2020.PythonDeepLearningTensorFlowPyTorchOpenVINO 日本語 English - Japanese - 1. Introduction 今回は私が半年間掛けてためてきた、学習済みモデルの量子化ワークフローをメモがてら共有したいと思います。 Tensorflow の checkpoint (.ckpt/.meta)、 FreezeGraph (.
![[Tensorflow Lite] Various Neural Network Model quantization methods for Tensorflow Lite (Weight Quantization, Integer Quantization, Full Integer Quantization, Float16 Quantization, EdgeTPU). As of May 05, 2020. - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/962467bef8525b4f7e46a8b1bac9c15f1d1d7575/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVGVuc29yZmxvdyUyMExpdGUlNUQlMjBWYXJpb3VzJTIwTmV1cmFsJTIwTmV0d29yayUyME1vZGVsJTIwcXVhbnRpemF0aW9uJTIwbWV0aG9kcyUyMGZvciUyMFRlbnNvcmZsb3clMjBMaXRlJTIwJTI4V2VpZ2h0JTIwUXVhbiVFMiU4MCVBNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NGU4YmU5MWE3NzMwNDEzZmU2NWU3YTU1N2NmNDBkZGE%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBQSU5UTyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDc0MDllNThhZDg0NWJiODAyMjk4MmQwNTI1OWRjZDU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D2107faf34549913ddd503ce1bd7681de)
RustでミニTensorFlowを作った - Qiita
Rust Advent Calendar 2017 6日目の記事です。 rust-autograd というライブラリを作りました。https://github.com/raskr/rust-autograd もともとニューラルネットのライブラリのつもりだったんですが、GPUの知識がなさすぎて無理だと気づき、一般的な名前にしました。一応ドキュメント(兼テスト)もあります。例えば行列積の計算はこんな感じです: extern crate autograd as ag; let a: ag::Tensor = ag::zeros(&[4, 2]); let b: ag::Tensor = ag::zeros(&[2, 3]); let c: ag::Tensor = ag::matmul(&a, &b); println!("{}", c.eval(&[]).unwrap()); // [[0,
Classification on imbalanced data | TensorFlow Core
This tutorial demonstrates how to classify a highly imbalanced dataset in which the number of examples in one class greatly outnumbers the examples in another. You will work with the Credit Card Fraud Detection dataset hosted on Kaggle. The aim is to detect a mere 492 fraudulent transactions from 284,807 transactions in total. You will use Keras to define the model and class weights to help the mo
TensorFlow Model Optimization Toolkit — Pruning API
https://blog.tensorflow.org/2019/05/tf-model-optimization-toolkit-pruning-API.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgsNiBy8uaZXFatpe4Zt8-1iGtlJZVLwe78-Z6MrspzP5z3MsfETQzUSeQKjwMoyfXJl6HbnbsfpqvCW5ohjr4rZc6wWv1D0KPsagOz_0RXI61ouiTVgG7hB_1IgMYfjwZ0DNytZR6XAT4/s1600/neuralnetworklayersbeforeandafterpruning.png May 14, 2019 — Since we introduced the Model Optimization Toolkit
TensorFlow Probability で作る変分オートエンコーダ（VAE）
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
TensorFlow 2.0 のコードの書き方基本集（PyTorchとの比較） - HELLO CYBERNETICS
はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い：層の定義の仕方 些細な違い：ロス関数の書き方 大きな違い：勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワーク PyTorch TF2.0 違い パディング 畳み込み層→線形層 traininigフラグ RNN PyTorch TF2.0 違い 大きな違い：多層化 些細な違い：Bidirectional 大きな違い：戻り値の並び 学習 はじめに 最近KerasからPyTorchに流れていく人たちが多く見受けられます。その中でて「Kerasで書いていたコードをPyTorchのコードで実装するにはどうすれば良いんだろう？」という声があります。要は、今まで使っていたフレームワークでやろうとしていたことを、別のフレームワークでやろ
tensorflow/overview.md at master · tensorflow/tensorflow · GitHub
Note: XLA is still under development. Some use cases will not see improvements in speed or decreased memory usage. XLA (Accelerated Linear Algebra) is a domain-specific compiler for linear algebra that optimizes TensorFlow computations. The results are improvements in speed, memory usage, and portability on server and mobile platforms. Initially, most users will not see large benefits from XLA, bu
Bayesian Methods for Hackers
An intro to Bayesian methods and probabilistic programming from a computation/understanding-first, mathematics-second point of view. Prologue The Bayesian method is the natural approach to inference, yet it is hidden from readers behind chapters of slow, mathematical analysis. The typical text on Bayesian inference involves two to three chapters on probability theory, then enters what Bayesian inf
故障予測問題に TensorFlow Probability を利用する(モデル推定編)
この記事は TensorFlow Advent Calendar 2018 の6日目にすべりこませるために書いたものですが、先に枠が埋まってしまったので冬休みの宿題ということにしました。5日目にすべりこませた「データ生成編」の続きです。 TensorFlow Probability は TensorFlow をベースにした統計モデルを構築するための Python ライブラリです。モデル構築に用いる要素として確率変数、分散関数(distributions)、bijectors という確率分布を変形する仕組みを持ち、モデル推定のために MCMC や変分推定(Variational Inference)の機能を持ちます。またいわゆる Bayesian Neural Network を構築するための部品も備えています。 筆者は Bayesian の考えかたにも TensorFlow Probabi
TensorFlowでSIRモデル（非定常ポアソン過程） - 廿TT
TensorFlowで統計モデリング - StatModeling Memorandum に感化されて、 SIR モデルと非定常ポアソン過程 - 廿TT と同じようなことをTensorFlowでもやってみました。 TensorFlowには常微分方程式を解く関数もあるようです。 こんな感じです。 SIRのRを非定常ポアソン過程の強度関数として、パラメータ推定もやってみました。 こんな感じです。 全然関係ないけどIn All Likelihoodっていう本を買いました。冬休みはこれを読むんだ。 In All Likelihood: Statistical Modelling and Inference Using Likelihood (English Edition) 作者: Yudi Pawitan出版社/メーカー: OUP Oxford発売日: 2013/01/17メディア: Kindl
JuliaからCloud TPUを使う論文の、ざっくりまとめ | Kazuaki Ishizaki – Researcher and contributor for system software
この記事は？ この記事は、TensorFlow Advent Calendar 2018の17日目の記事です。 この記事の内容は？ Arxivに投稿された論文、Automatic Full Compilation of JULIA Programs and ML Models to Cloud TPUsのまとめです。特に、TPUのためのコードを生成するためにはどうすればよいか、ということについてまとめます。一言でまとめれば、 です。この論文に書かれている内容は、XLA.jiで試すことができるようです。ただし、残念ながら論文に書かれている部分はコンパイル済みバイナリとして提供されていて、実装を見ることはできません。 とにかく、JuliaのコードをTPUで動かしてみたい人向け 論より証拠、という方はXLA.jiとして公開が実装されているので、こちらを実行してみてください。詳しい使い方は、XLA
TensorFlow eager と edward と PyTorchでDCGAN【ただのコードの羅列】 - HELLO CYBERNETICS
はじめに PyTorch generator discriminator 学習部分 TensorFlow eager generator discriminator loss 学習部分 edward placeholderとノイズ入力 generetor discriminator 学習部分 参考 はじめに 各ライブラリを利用した時のDCGANのコードを羅列しただけの記事です。 使い方の雰囲気だけでも比較したいときに見てください（基本的にただのメモです）。 それぞれについて要点だけを説明しておきます。 PyTorch generator PyTorchにはtorch.nn.Sequentialというクラスがあります。 この中にはtorch.nnモジュールで実装されているクラスを複数個渡すことができます。 nn.Sequentialは渡した順番で演算を実行することができるため、あたかもこれで
Tensorflow Eager vs PyTorch (強化学習編) - Qiita
Introduction 強化学習におけるTensorflowの実装たるや、その多くは可読性が低いです。それに比べて、PyTorchやchainerといったDefine-by-Run型のフレームワークの実装は読みやすく作りやすい。しかし、その時代もEager Modeの出現により終わりました。 本稿では、Eager Modeの実践的な記述方法と、強化学習における有用性を示すことを目指します。 主な内容として PyTorchからTensorflow Eagerへの１対１の移植方法 Eager Modeにおけるsummary Eager Modeにおける学習結果のsave&load PyTorchよりEagerを高速に動作させる を含みます。 今回、題材として用いるのは、ICML2018に採択されたFujimotoらの「Addressing Function Approximation Err
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tfp.optimizer.StochasticGradientLangevinDynamics | TensorFlow Probability
Why TensorFlow for Python is dying a slow death
Visualizing the Loss Landscape of a Neural Network
models/research at master · tensorflow/models
