TensorFlowとPyTorchの相互変換はどうやるか 機械学習の困りごとに使える重み変換のテクニック
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。rishigami氏は、TensorFlow／PyTorchのモデル移植について発表しました。全2回。前半は、TensorFlow、PyTorchそれぞれのモデル実装の基礎と、それぞれの違い、重み変換のテクニックについて。 フレームワークにまつわる、ありがちな困りごと 石上氏：今回は「TensorFlow／PyTorchモデル移植のススメ」というタイトルで発表します。 あらためて自己紹介ですが、私は石上と申します。ハンドルネームは「rishigami」でやっていて、Kaggleでは現在Competitions Masterとなっています。ただ最近はちょっと忙しくて、Kaggleに参加できておらず、つい最近NFLコンペが開催された（※取材当時）ということで、ちょっとそ
Introduction to ML Pipelines
機械学習パイプラインの概念について説明した資料です。 ## Reference ### ML Pipelines for Software Engineers GigaOm-Delivering on the Vision of MLOps - Microsoft Azure https://azure.microsoft.com/ja-jp/resources/gigaom-delivering-on-the-vision-of-mlops/ Sculley, D. and Holt, Gary and Golovin, Daniel and Davydov, Eugene and Phillips, Todd and Ebner, Dietmar and Chaudhary, Vinay and Young, Michael and Crespo, Jean-Fran\c{c}ois
生TensorFlow七転八倒記(11)：TensorFlow周りの最近のアップデートについて - 渋谷駅前で働くデータサイエンティストのブログ
2年ぐらい前に必要があって生TensorFlowとTensorFlow-Hubによる様々なモデルやフレームワーク並びに事前学習済みモデルの実装を試していたのですが、TF2の浸透に伴いそれらの多くの仕様が変更になっており、中には回らなくなっていたコードもあったので、それらを調べるついでに最近のTF-Hubのアップデートも覗いてきました。ということで、自分向けの備忘録として簡単にまとめておきます。 TensorFlow-Hubの事前学習モデル Estimatorクラス 余談 TensorFlow-Hubの事前学習モデル まず試したのがUniversal Sentence Encoderの多言語版。リンク先を見れば分かるように、16言語（アラビア語・簡体字中国語・繁体字中国語・英語・フランス語・ドイツ語・イタリア語・日本語・韓国語・オランダ語・ポーランド語・ポルトガル語・スペイン語・タイ語・トル
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】 - Qiita
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】RaspberryPiTensorflowLitexnnpack 1. はじめに 今から半年前の2020年6月、ラズパイ４上でTensorFlow Liteを使った様々なAI認識アプリを動かしてみて、その動作速度をまとめました。 当時のTensorFlowはバージョン2.2でしたが、現在は 2.4(rc4) へと進んでいます。進化が極めて速いDeepLearningの世界において、この半年間でTensorFlow Liteはどう変化したでしょうか。もし「手持ちのアプリは何も変えてないのに、TensorFlow Liteを新しくするだけでめっちゃ速く動くようになったぜ」というのだと嬉しいですよね。 本記事では、前回計測に用いたアプリを再び最新版のTensorFlow Lite環
WebAssemblyでの機械学習モデルデプロイの動向
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly（Wasm）は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル（特に Deep Learning）を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript？とか機械学習で何に役立つの？とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。深層学習にはTensorFlowとKerasを使い、ニューラルネットワークの構築と訓練、ニューラルネットワークアーキテクチャ、深層学習や強化学習、さらにTensorFlowの分散処理のメカニズムや実装までを幅広く解説します。 第2版では教師なし学習と深層ネットワーク訓練手法、コンピュータビジョンテクニック、自然言語処理、Tensor Flowの大規模な訓練や効率的なデータの取
エッジで機械学習ってなんだろう -ブラウザ、スマホ、IoT機器での推論を概観する- - Qiita
本内容は、技術書典7 合同本『機械学習の炊いたん2』収録の、「エッジで機械学習」記事を公開したものです。内容は2019年9月時点の調査等に基づきます。 最近Raspberry Pi 4の検証結果などをみていると、エッジ、かつCPUでもそれなりの速度で動くケースもみられます。またこの後にM5StickV(K210)などを触りましたが、専用チップも使い所があります。今後、それらの動きもできれば補足したいと思います。 9/12-22に開催された技術書典9では、新刊『機械学習の炊いたん3』を頒布しました。私は、「AIエンジニア、データサイエンティストのための経営学、ソフトウェア工学」を寄稿しています。他にも機械学習のビジネス、エンジニアリング、数理までもりだくさん。気になられたら、ぜひご覧ください! 他にも、技術書典9「機械学習、データ分析」系の新刊リスト - Qiitaの通り、たくさんの本が出品
TensorFlow 2 meets the Object Detection API
https://blog.tensorflow.org/2020/07/tensorflow-2-meets-object-detection-api.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhKis9ECId8eIwn_p0SVMBt3a1vfvKOcOZXy6zK0fWoyzXnzQTguKc2CV__6oI1Pwg22NjWsErpDKqjwQdzjilvmqwWkXPj2ncglphh6mAhpoZ_QXQiDwxnwo-GjKEP0fEOb3uBlNlh9sc/s1600/tensorflow2objectdetection.png July 10, 2020 — Posted by Vivek Rathod and Jonathan Huang, Google Research At the
普通のエンジニアが初めて動かすディープラーニング
＠IT eBookシリーズ Vol.64『普通のエンジニアが初めて動かすディープラーニング』（画像クリックでeBookを表示） AI・機械学習・ディープラーニングはもはや、あなたのような「普通のエンジニア」にとっても「使えない」では済まされないトピックだ。しかし「どこから手を付ければよいのかが分からない」「書籍を読んだけど数式がたくさん出てきて、途中で読むのをやめてしまった」「書籍は何とか1冊読み切ったけど、やっぱり仕組みと挙動への理解が不十分で実践しづらい」という人は少なくないのではないだろうか？ 本書は、『普通のエンジニアでも分かるディープラーニング概説：人気連載まとめ読み！ ＠IT eBook（58）』の続編として、ディープラーニングの仕組みと実装方法を初心者向けに解説している。図解（「ニューラルネットワーク Playground - Deep Insider」という無料で動かせるW
Tensorflowの転移学習サンプルを機械学習の初心者がギリ分かるところまで噛み砕いてみた | DevelopersIO
せーのでございます。 機械学習というワードはかなり一般化され、エンジニアじゃない方なら「ああ、自動運転とかのやつでしょ」くらいに浸透しています。 特にエンジニアの方であれば「教師あり学習」「教師なし学習」「強化学習」がどういうものを指すか、というのはぼんやりイメージできるかと思います。 そんな機械学習、せっかくなので始めてみたい、とざっくり中身を見出した、、、くらいの方が今日のエントリーの読者対象となります。 今日のテーマは「転移学習」です。 転移学習のやり方を知りたい。最短で。 転移学習、というのはざっくり言うと「元々学習されているモデルを使って自分たちの使いたい方向に再学習すること」です。 機械学習をやりだすと必ず当たる壁が「データが足りない」というものです。特にディープラーニングを使って例えば画像の分類をしたい、とした場合、精度を出すには最低でも数百枚、一般的には数千枚〜数十万枚とい
第5回 お勧めの、TensorFlow 2.0最新の書き方入門（エキスパート向け）
どの書き方を採用すべきか 公式チュートリアルでは、「初心者向け」と「エキスパート向け」という2つのクイックスタートが用意されており、これは前掲の図における（1）と（4）に該当する。本連載ではそれに合わせて、初心者は（1）、初中級者以上は（4）をお勧めとしている。 （4）や（5）のSubclassing（サブクラス化）モデルは、「Pythonを使ってコーディングしている」感がより強まる。それに伴い、どうしてもコード量が飛躍的に増えがちである。しかしこれは、（1）や（2）のSequentialモデルだとメソッド内に隠蔽（いんぺい）されていた学習処理を細かく制御したり、柔軟なカスタマイズができたりするというメリットの裏返しでもある。 どの書き方にもメリット／デメリットはあるので、まずは使える書き方や、気に入った書き方から始めてみるのもよいだろう。特にKerasに慣れている人の中には、「（4）／（
Googleの事前学習済みモデルを手軽に利用出来るTensorFlow Hub - Technical Hedgehog
自然言語処理におけるword2vecや画像処理におけるInceptionなど、一般的に広く用いられているモデルを上流で用いる事は多くあります。汎用的な知識を扱えるメリットがある一方、学習には大量のデータセットの準備と膨大な学習時間がかかってしまいます。 この問題に対して、あらかじめ学習させた状態のモデル(事前学習済みモデル)を用意しておき上流に転移させる方法があります。本記事ではその事前学習済みモデルについて、Googleが提供するのライブラリであるTensorFlow Hubを紹介します。 TensorFlow HubはGoogleの大量リソースを用いて学習したモデルを手軽に実装できるほか、自作したモデルを別環境で利用しやすいように自作することも可能です。本記事では概要と特徴、利用方法を紹介します。 今回説明するTensorFlow Hubの利用方法、作成方法について実験したコードはGi
機械学習を高速処理するGoogleの「Cloud TPU」サービス、7割引きの利用料で使えるプリエンプティブに対応
機械学習を高速処理するGoogleの「Cloud TPU」サービス、7割引きの利用料で使えるプリエンプティブに対応 Googleは同社が開発した機械学習処理のためのソフトウェア「TensorFlow」を高速に実行するための専用プロセッサ「Tensorflow Purocessing Unit」（TPU）を自社開発し、クラウドサービスとして提供しています。それが「Cloud TPU」です。 Cloud TPUの処理能力は最大180 TFLOPSあると説明されており、これによって機械学習で行われる処理のなかでも、とりわけ処理量が多いトレーニング処理も短時間で扱えるのが特長です。 このCloud TPUがプリエンプティブ（Preemptible）に対応し、標準で提供されている価格よりも7割引きで使えるようになることが発表されました。 プリエンプティブとは、安価に利用できる代わりに、Google
初めてのTensorFlow入門～MNIST SingleNet～ - webエンジニアの日常
こんにちは、エンジニアのさもです。 前回に引き続き、MNISTに挑戦します。 今回は、隠れ層を1層追加して、単層のニューラルネットワークを構築していきます。 コードはこちらの書籍をお手本にしています。 TensorFlowで学ぶディープラーニング入門 ~畳み込みニューラルネットワーク徹底解説~ 作者: 中井悦司出版社/メーカー: マイナビ出版発売日: 2016/09/27メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る スポンサーリンク 目次 単層ニューラルネットワークの概要 実装 ライブラリのインポート 変数の定義 正解率などの定義から学習まで 自分の手書き文字を判定する 最後に 単層ニューラルネットワークの概要 前回は、入力値（画像）に対して、パラメータ行列をかけて、バイアスを足し、その結果をソフトマックス関数を用いて確率へ変換しました。入力値は、28×28サイ
Swift開発者が知りたかったけど聞きにくい機械学習のすべて | try! Swift Tokyo 2017 #tryswiftconf Day1-1 聞き起こし - niwatakoのはてなブログ
twitter.com The news says machine learning is the Next Big Thing. But machine learning is happening way over there, on servers, in universities and in big companies with big data. What is it really, and what does it mean for over here, on mobile, in Swift? Are we –gulp– legacy tech? This talk will present a fast, concrete, down-to-earth survey of machine learning, from the perspective of iOS & Swi
TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ
memo.sugyan.com の続編。 あれから色々な変更しつつ実験してみたりしたのでその記録。 結論を先に書くと、これくらい改善した。 DCGAN ざっくりおさらい Generator: 乱数の入力から画像を生成する Discriminator: 入力した画像がGeneratorが生成したものか学習データのものかを判別する という2種類のネットワークを用意し、お互いを騙す・見破るように学習を行うことで Generatorが学習データそっくりの画像を生成できるようになる、というもの 学習用画像の増加 前回の記事では90人の顔画像データから生成していたけど、あれから収集を続けて もう少し多く集まったので、今回は260人から集めた顔画像100点ずつ、計26,000件を学習に使用した。 Feature matching openai.com の記事で紹介されている "Improved Tech
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mrdbourke/tensorflow-deep-learning: All course materials for the Zero to Mastery Deep Learning with TensorFlow course.
GitHub - tensorflow/text: Making text a first-class citizen in TensorFlow.