eGPU+Ubuntu20.04LTSを使って、機械学習環境(TensorFlow, PyTorch)を作成してみた。 - Qiita
eGPU+Ubuntu20.04LTSを使って、機械学習環境(TensorFlow, PyTorch)を作成してみた。CUDAPyTorchegpuIntelNUCubuntu20.04 eGPU＋Ubuntu20.04LTS環境上で動作する機械学習環境(TensorFlow、PyTorch)を構築するまでの手順の記録（my備忘録）です。 環境構築を着手してから、想定以上に途中失敗することが多く、何度もやり直しを行い、ようやく両方の環境が使えるようになったので、忘れないように記録しました。 使用した機材 （ディスプレイ・マウス・キーボード・ケーブルは除く） - Intel NUC [NUC10i5FNH] (環境を構築するPC・ディスプレイ接続) - Ubuntu20.04LTSをインストールするためのUSBメモリ（インストーラを作成する環境はMacbookを利用） - Razer Cor
LLVMの新しい中間言語表現 MLIRを試す(3. MLIRに関する発表資料を読む) - FPGA開発日記
MLIRについてもう少し具体的な例を勉強するために、資料を読み込んでいくことにした。 以下の資料を参考にした。Chris Lattnerの所属がSiFiveに変わっているので、比較的最近の資料だ。 docs.google.com MLIRはMulti-Level Intermediate Representation Compiler Ifrastructureの略称である。 2004にLLVMを開発したときの想定構成。1つのIRを用意してすべてを解決する。マルチターゲット、解析、最適化など。 ところがこれだけでは上手く行かなくなった。LLVM-IRだけでなく複数の表現形式を使用する必要がある。現在のLLVM IRでは並列性やループなどの表現形式に問題がある。 Clangも同様。LLVM IRを出力するだけでなく、様々なアノテーションを出力する必要が生じたり、もはやC++の複雑な言語構文を
Tensorflow GPU, CUDA, CuDNNのバージョン早見表 - Qiita
Tensorflow GPUとその他パッケージのコンパチ早見表 Tensorflow GPU、なぜか動かなくて禿げそう,いやマジではげそう そんな時は！ 下記ページの「テスト済みのビルド設定」を参照されてください。 https://www.tensorflow.org/install/source?hl=ja#gpu_support_2 上記バージョンに合わせても動かない場合は下記をチェック！ 表のとおりにバージョンを合わせたか？（CUDA=9ならば9.1を避けるなど） tensorflowとtensorflow-gpuがダブっていないか？ tensorflow-gpuとpython系は同じバージョンでインストールされているか？ 動かしたいソースコードはどのバージョンで作られているか？（更新ごとに関数が追加、削除されるため） 最新バージョンは避ける どう考えてもすべて合わせたのに動かない場
今こそ知っておきたい「TensorFlow」--機械学習ソフトウェアライブラリーの進化 - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「TensorFlow」は当初、Google Brain Teamのディープラーニング研究プロジェクトだったが、Googleの50のチームの共同作業によって新たなオープンソースライブラリーとなり、「Google Assistant」「Google Photos」「Gmail」「Google Search」など、Googleのエコシステム全体に展開された。GoogleはTensorFlowを導入したことで、知覚や言語理解のタスクを使用して、ディープラーニングをさまざまな分野に応用することができる。 この入門記事では、TensorFlowに関する最新情報を紹介する。 概要 どんなものなのか：Googleは世界最大の機械学習インフラストラクチ
MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56
先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root なども簡略化できます。そういうわけで、全体的な生産性の向上に繋がると信じています。 今回紹介する Makefile は Docker
TensorFlowをAWS Lambdaで使って競艇予想APIを爆誕させました！！ - Qiita
はじめに この記事は以前作成した競艇予想のモデルをAWS Lambda上で使用し、 競艇予想APIを作成したときのお話です。 やっていることは単純ですが、これを実現するために私の夏休みをすべて費やしました(泣) ですので、私のようにAWS Lambdaで自身が作成した機械学習モデルを使用したいと 考えている方の助けとなれるように記事を書きました。 アジェンダ 1.使用したライブラリ、実行環境について 2.処理内容について 3.アーキテクチャ図について 4.競艇予想APIを作る上で困った点について 5.Serverlessについて 6.ServerlessによるAWS Lambdaのデプロイ方法について 7.競艇予想APIのつくり方について 8.最後に 1.使用したライブラリ、実行環境について ・Python 3.6 ・TensorFlow 1.14.0 ・Numpy 1.15.4, 1.1
PoseNetを使ってジェスチャーゲームを作る - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。 データインテグレーション開発グループ データソリューションチームの長谷川と申します。 GoogleがOSSとして公開しているTensorFlowのうち、ブラウザ・node.jsで機械学習のトレーニングおよび実行が出来るライブラリとしてTensorFlow.jsがあります。 TensorFlow.jsを使い、WEBカメラなどの入力からブラウザ上でリアルタイムにユーザーの姿勢検出ができるPoseNetモデルが話題になりましたが、今回このPoseNetを使って、手の座標内にボール（障害物）が触れたら、ボールが消えるジェスチャーゲームを作りました。 ジェスチャーゲーム こういうものです。 デモのURLはこちらになります。 https://gnavi-blog.github.io/posenet_sample/ ※ カメラ付きのPCでお試しください 数年前にMicrosoftのKine
TFXとは何だったのか、現状どうなっているのか - Qiita
この記事では機械学習パイプラインを本番環境にデプロイするためのエンドツーエンドなプラットフォームの提供を目指す、TFXについて述べます。 TL;DR The TFX User Guide が一番詳しいのでこれを読みましょう。 TFX とは TensorFlow Extended (TFX) は次の3つのうちのいずれかを指します。 機械学習パイプラインの設計思想 設計思想に基づいて機械学習パイプラインを実装するためのフレームワーク フレームワークの各コンポーネントで用いられるライブラリ 以降ではまず、設計思想としての TFX に触れ概略を紹介します。次に、設計思想に基づき、コンポーネントを機械学習パイプラインとしてまとめ上げ、構築を行うライブラリについて紹介します。最後に、各コンポーネントで用いられるライブラリを見ることで、それぞれのライブラリが提供する機能について紹介します。 設計思想とし
Big Sky :: C++ な WebServer 実装 crow と TensorFlow Lite を使って Object Detection の API サーバを書いた。
自宅で動かしている物体認識サーバは TensorFlow を使って Go で書かれていたのだけど、CPU 負荷が高いので以前 go-tflite で書き換えた。その後 Raspberry Pi Zero W でそのまま使えるだろうと思っていたら結構リソースが厳しかったので C++ なウェブサーバの実装である crow と TensorFlow Lite を使って書き換える事にした。 GitHub - ipkn/crow: Crow is very fast and easy to use C++ micro web framework (inspired by Python Flask) How to Build If you just want to use crow, copy amalgamate/crow_all.h and include it. Requirements C..
Posenet を WebWorker で動かしてみた - mizchi's blog
デモはここで試せる https://posenet-worker.netlify.com/ コードはここ github.com 構成 getUserMedia でカメラ取得 OffscreenCanvas でバックグラウンドの書き込み Tensorflow.js + Posenet Tensorflow.js が Chrome では webgl バックエンドになったとの目撃談があったので、試してみた。 [https://twitter.com/sugyan/status/1156616432248971264:embed#動作を試せるやつ上げた。Chromeだと WebWorkerでMainThreadの動き止めずにwebglで高速に処理してくれてそう https://t.co/GsepIMRSqG https://t.co/je8ceda47L] 今の所、Chrome 以外では tens
GoogleでJetson Nano x TensorFlowの可能性に関してプレゼンしてきました - karaage. [からあげ]
Googleさんでのプレゼン発表無事終わりました Google 東京オフィスのTFUG(TensorFlow User Group)イベントでJetson Nanoに関して発表してきました。イベントの詳細やプレゼンすることになった経緯などは以下参照下さい（既にイベントは終了しています）。 どうなることかと思いましたが、無事プレゼン終えることができてホッとしております。 この記事では、プレゼン見れなかった人への情報提供、プレゼン見てくださった方への情報補足として、発表内容や関連情報をまとめておこうと思います。 「Jetson Nano x TensorFlowで始めるモバイルAI画像認識」 発表スライド Jetson Nano x TensorFlowで始めるモバイルAI画像認識 from karaage0703 発表したスライド資料です。私以外の方のスライド等は以下リンク先参照下さい。 S
![GoogleでJetson Nano x TensorFlowの可能性に関してプレゼンしてきました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/153986ecec63dd26cd7a56c7a46b27f41e88d6ce/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190610%2F20190610225928.jpg)
Docker入門して機械学習環境構築 - karaage. [からあげ]
最新版にアップデートしました。 古くなっていたところなど多数あったので、アップデートして所属のテックブログとして投稿しました。よろしければこちらをまずは参照ください。 このページは、残しておきます。 機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か？という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtu
![Docker入門して機械学習環境構築 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b11ffcf9f4021aa000a4e241f26e517441fe138/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190516%2F20190516000848.png)
日本の科学技術計算コミュニティが目指すべき姿 ―SciPy Japan 2019レポート | gihyo.jp
4月23～24日、東京でSciPy Japan 2019が開催されました。SciPyはNumPy、matplotlib、Jupyterなど科学計算系のPythonパッケージの開発者やユーザー向けコミュニティで、本場アメリカでは、2002年から毎年カンファレンスが開催されています。今回は日本で初めてSciPyのカンファレンスが開催されましたが、5か国から90名が参加する盛況ぶりでした。現在、多くの注目を集めているTensorFlowやChainerなどのディープラーニング用のPythonパッケージのほか、Jupyter NotebookやApache Arrow、Daskなどの技術トピックにふれる発表もあり、濃厚な2日間となったカンファレンスの内容をレポートします。 1日目：初心者向けチュートリアル 「Hands-on TensorFlow 2.0」 1日目のチュートリアルは、TensorF
GitHub - sql-machine-learning/sqlflow: Brings SQL and AI together.
SQLFlow is a compiler that compiles a SQL program to a workflow that runs on Kubernetes. The input is a SQL program that written in our extended SQL grammar to support AI jobs including training, prediction, model evaluation, model explanation, custom jobs, and mathematical programming. The output is an Argo workflow that runs on a Kubernetes cluster distributed. SQLFlow supports various database
TensorFlow を使ってブラックホールとポンデリングを見分ける (追記あり) - Qiita
はじめに ハワイ、南米、南極など色々な箇所に設置された電波望遠鏡が協力し合う国際プロジェクト「イベント・ホライズン・テレスコープ」が、5500万光年彼方も向こうにある銀河の中心に位置する超大質量ブラックホールの撮影に成功したとの事。ブラックホールが直接撮影されたのは史上初の快挙との事で巷でも賑わっております。 さてこれだけ盛り上がると Twitter でも色々話題になっていて「ポンデリングに似ている」とか「ポンデリングじゃん」とか「ポンデリングにしか見えない」など色々と言われております。 それポンデリングじゃねぇの？ これはもしかしてブラックホールを見た事のない我々に対して、ポンデリングの画像を見せられ騙されているのではないかとさえ思い始めました。Twitter 上にも数多くのポンデリング画像が散見されています。そこで TensorFlow の力を借りて「画像がブラックホールなのかポンデリ
BodyPix の概要: ブラウザと TensorFlow.js によるリアルタイム人セグメンテーション
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
TF-Replicator: Distributed Machine Learning for Researchers
Research TF-Replicator: Distributed Machine Learning for Researchers Published 7 March 2019 Authors Dominik Grewe, Peter Buchlovsky, Chris Jones, David Budden, Tom Hennigan, Aedan Pope At DeepMind, the Research Platform Team builds infrastructure to empower and accelerate our AI research. Today, we are excited to share how we developed TF-Replicator, a software library that helps researchers deplo
Google Cloud TPUを使った計量学習の高速化事例の紹介 - ZOZO TECH BLOG
ZOZO研究所の後藤です。本記事ではGoogle Cloud TPUを使った計量学習の高速化の事例を紹介します。 はじめに 深層学習を用いたプロダクトを開発・運用する上で、モデルの学習にかかる膨大な時間はボトルネックの1つです。 ファッションにおける深層学習を用いた画像認識技術にも同じことが言えます。 今回はファッションの分野において定番のタスクであるStreet2shopの課題設定に対し、Google Cloud TPUを用いて計量学習の高速化を試みます。 Street2shopは、スナップ画像から商品部分を切り出す物体検出のパートと、切り出した画像と類似した商品を検索するクロスドメイン画像検索のパートに分けられます。 今回の取り組みでは、後者のパートで利用する画像間の距離を測るためのモデルの学習の高速化を行います。 目次 はじめに 目次 Google Cloud TPUとは タスク S
TensorFlow 2.0 のコードの書き方基本集（PyTorchとの比較） - HELLO CYBERNETICS
はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い：層の定義の仕方 些細な違い：ロス関数の書き方 大きな違い：勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワーク PyTorch TF2.0 違い パディング 畳み込み層→線形層 traininigフラグ RNN PyTorch TF2.0 違い 大きな違い：多層化 些細な違い：Bidirectional 大きな違い：戻り値の並び 学習 はじめに 最近KerasからPyTorchに流れていく人たちが多く見受けられます。その中でて「Kerasで書いていたコードをPyTorchのコードで実装するにはどうすれば良いんだろう？」という声があります。要は、今まで使っていたフレームワークでやろうとしていたことを、別のフレームワークでやろ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - replicate/keepsake: Version control for machine learning
