Tensorflow/Pytorch モデル移植のススメ1. Tensorflow/Pytorchのモデル実装の基礎 2. Tensorflow/Pytorchの比較 3. Tensorflow/Pytorchの重み変換のテクニック 4. 実践Tensorflow/Pytorchのモデル移植 について紹介します 第３回分析コンペLT会 https://kaggle-friends.connpass.com/event/220927/
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？ - Qiita
1. はじめに 世の中にはDeepLearningの学習済みモデルを公開してくださっている方がたくさんいらっしゃいます。本記事は、そのうちのいくつかをラズパイ４で動かしてみて、いったいどれくらいの速度で動くのかを検証したものです。 計測対象モデルとして、Mediapipe および TensorFlow.js、TensorFlow Lite models で公開されている学習済みモデルを利用させて頂きました。またモデル実行フレームワークとしては、モバイル向けに整備が進む TensorFlow Lite (C++) を用いました。 計測にあたっては、公開されているモデルをそのまま動かすだけでなく、一般的な高速化手法である下記の２手法を両方試し、その効果も計測しました。 [1] モデルをint8量子化する方法 演算精度に多少目をつぶる代わりに、NEON等のSIMD演算器による並列処理の並列度をさ
TensorSpace.js
The TensorSpace.js works well on Chrome, Safari, Firefox. TensorSpace is also compatible to mobile browsers. TensorSpace.org provides documents, downloads and live examples of TensorSpace.js. The source code of TensorSpace.js is available at Github. For questions, issues, and suggestions please use the issue section of the Github project.
Google ColaboratoryのTPUを試してみる
TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 ハードウェアアクセラレータにTPUが使えるようになってる！？TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIntelのHaswell CPUとNVIDIAのK80 GPUと比較すると、性能は15～30倍、電力効率は30～80倍になっているという。 NVIDIA K80は現在ColabのGPUアクセラレータとして用いられているGPUだ。もしこの15～30倍という値が本当なら、
Google DatalabコンテナにElixirを入れてTensorflexを動かそう - Qiita
（この記事は、「fukuoka.ex(その2) Elixir Advent Calendar 2017」の24日目、および「ディープラーニングのエンジニアリング Advent Calendar 2017」の6日目です） 昨日は、@tuchiroさんのElixirでSI開発入門 #9 Railsからのモデルの移行2(DDLをパースする)でした 前回までElixirからRustlerを経由して外部言語インターフェースのさまざまな可能性を探ってきました。 今回はGCPの公式コンテナである「Cloud Datalab」にElixirをインストールして、ElixirのTensorFlowバインディングである「Tensorflex」を試してみます。 前回までの記事は、以下になります ElixirのGenStageに入門する #1 |> ElixirのGenStageに入門する#2 バックプレッシャーを
TensorFlowのGPU環境をGCPでさくっと作る方法 - Qiita
TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請（初回のみ。所要時間は約5分） CUDAやcuDNNをインストール（NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒） TensorFlowをインストール（所要時間は約5分） って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請（初回のみ。所要時間は約5分） Cloud Datalabインスタンスを作成（コマンド一発、待ち時間は15分ほど） これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、
TensorFlow Servingで機械学習モデルをプロダクション環境で運用する - freee Developers Hub
こんにちは、freee株式会社でエンジニアをやっている米川（@yonekawa）です。最先端のテクノロジーを使って新しいソリューションを生み出していくことをミッションにした、CTW (Change The World) という役職で働いています。 この記事はfreee Developers Advent Calendar 2017の23日目です。 機械学習ではアルゴリズムや大規模データ処理が注目されがちですが、学習したモデルをどうやってサービスで運用するかも悩ましい問題です。実験やアルゴリズムの検証では強力なツールが揃っているPythonがよく使われるので、そのままPythonでAPI作るケースが多いと思います。しかしプロダクション環境で運用するとなると開発しやすさ以外にも、大量リクエスト時のパフォーマンスやデプロイ、モデルの精度評価やA/Bテストなどさまざまな課題があります。 またfre
TensorFlow.js | Machine Learning for JavaScript Developers
Deploy ML on mobile, microcontrollers and other edge devices
TensorFlow Liteのliteな話 - Qiita
この記事は ex-mixi Advent Calendar 2017 23 日目のエントリーです。 こんにちは。hnakagawa と申します。 mixiには中途で入り3年ほど在籍してました。入社当初の配属は、たんぽぽという謎チームで当時まだ黎明期だったネイティブ・アプリの開発環境の整備やフレームワーク開発を主に行っていました。 自分は組み込み畑からこの業界で仕事を始め、mixiの様なWeb系に行ったり組み込みに戻ったり、レイヤの上下を行き来するキャリアを送っていますが、アプリのスタートアップを経て去年ぐらいからMLプラットフォームの下回の仕事をするようになり、最近はex-mixiが集う人材吸引会社に吸い込まれたと噂されています? ※注 自分は研究者でもMLエンジニアでもなく、あくまで下回りの知識を活かしMLエンジニアがモデル作成に集中できるような環境を整えるのが現在の仕事 はじめに 今日
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
KerasモデルをCloud ML Engineで学習してOnline Predictionしてみた - Qiita
Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job
Google Cloud ML EngineをJupyterから簡単に使えるMagic - Qiita
Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備 Google Cloud SDKの
Google Cloud Machine Learning : 入門編 (1) – OpenAI API / Gemini API | ClassCat® Chatbot
Google Cloud Machine Learning がパブリック・ベータになった旨のお知らせを頂きましたのでさっそく試してみました。サービスの概要は以下に記されています : Google Cloud Big Data and Machine Learning Blog 要約すれば、Google Cloud Machine Learning は GCP (Google Cloud Platform) と統合され、Google Cloud Dataflow、BigQuery、Cloud Storage そして Cloud Datalab のようなクラウド・コンピューティング・ツールと TensorFlow に渡るリッチな環境をスケールして作成可能なフルマネージドサービスになります。 また、新しい特徴として HyperTune があります。これは自動的に予測精度を改善します。モデルのため
Python: Keras/TensorFlow の学習を CPU の拡張命令で高速化する (Mac OS X) - CUBE SUGAR CONTAINER
今回のネタは TensorFlow を使っていると、いつも目にしていた警告について。 それは、次のようなもの。 W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are available on your machine and could speed up CPU computations. W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on yo
Ubuntu環境上でPyCharmを使った機械学習の環境を構築する（TensorFlowも導入するよ！） - Qiita
Ubuntu環境上でPyCharmを使った機械学習の環境を構築する（TensorFlowも導入するよ！）PythonUbuntu機械学習PycharmTensorFlow 昨今流行りの機械学習ですが、環境構築が難しい場面が多く感じられたので、備忘録兼一つの情報提供になればと思い記事にします。 環境 Windows10上のUbuntu 16.04.1 LTS(VirtualBoxを使用） ※環境構築に関しては他サイトなどを参考にしてください [1] [2] [3] 記事の目的 この記事はインストールされたばかりのゲストOSであるUbuntuで機械学習やディープラーニングをPyCharmで行えるようにするというものです。具体的にはTensorFlowやNumPyなどを使用できるようにする。 ※今回はCPUのみのTensorFlow環境をつくります。 ※間違いやほかにうまいやり方がありましたら指
AWS スポットインスタンスでの TensorFlow 学習の自動化 - Qiita
mizti さんの AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する を自分の求めるものに従って微修正したものです。 背景 AWS の高性能 GPU マシン、 p2 インスタンスで DeepLearning (TensorFlow) の学習を回したい でも p2 は高い！！ スポットインスタンスを使うと安い！ しかしスポットインスタンスは実行中に入札額によって強制シャットダウンされる 学習中データを定期的に S3 にアップロードしたい スポットインスタンスを立ち上げて学習開始するのを自動化したい 学習完了時に勝手にインスタンスをシャットダウンしたい 仕様 学習開始の Slack 通知 データ格納先の S3 のチェック bucket は存在するか？ 既に学習結果格納ディレクトリが無いか？（上書きしないようチェック） スポットインスタンスへの入札と、結
TensorFlowのRNNを基本的なモデルで試す - Qiita
TensorFlowにもRNN(Reccurent Neural Network) が実装されており，Tutorialもあるものの，例題自体が言語モデルを扱った少し複雑なもので，初学者にはとっつきにくいなと感じました． 今回は言語モデルでない，より単純なモデルを扱う問題を例に挙げ，TensorFlowでのRNN実装を試します． 注意 TensorFlowのバージョンがあがり，動かなくなっている部分があるので，こちら(TensorFlow RNN関連のimportやBasicLSTMCellでエラーが出た場合の対処(v 0.11r~)) もみてみてください． 環境 OSX python 2.7.11 TensorFlow r0.8 SimpleなRNN SimpleなRNNのモデルや，その実装方法としてはPeter's noteというブログが大変参考になるので，初めての場合はそちらをまず読ん
TFGANでFashion MNISTのGANをさくっと試す - Qiita
これはTensorFlow Advent Calendar 2017の22日目の記事です。 12/12にGoogleからTFGANがリリースされた。TFGANはTensorFlowでGenerative Adversarial Networks (GAN)を手軽に使えるライブラリ。さっそく触ってみたので、お手軽に試す手順を紹介したい。おそらく30〜60分ほどでこんなふうにFashion MNISTの画像が徐々に生成されていく様子が確認できるはず。 TFGANで生成したFashion MNIST画像 GANって何？ GANについては、アイドル顔画像生成やいらすとや画像生成などの事例で目にしたことのある人も多いはず。いわゆる生成モデルに分類される技法で、既存のデータを投入して学習すると、そのデータの特徴を捉えた新しいデータの生成を行える。2014年にIan Goodfellow他が考案したモデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kerasの使用例:Input(Embedding + Flatten) - Qiita
