ROSをCUDA対応してみる - iPX社員によるブログ
こんにちは、和田です。 最近、プロジェクトでちょいちょいROSを利用することが増えてきました。 ROSってノードをちょいちょい組み合わせるだけでそれなりに動く物つくれるんで便利なんですよね。 そんな中、独自のノードを作ることも多々あるんですが、PointCloudの整形とかってCUDAを使った並列処理に向いているんだよなと。 nVidiaのJetsonTX2などを使う場合は特に、GPUを有効に使うことが大事ですし。 http://www.nvidia.co.jp/object/embedded-systems-dev-kits-modules-jp.html そして、案外調べてみると日本語でROS＋CUDAの環境構築を記事にしている人少ないんで、とりあえず書いてみようかなと言う流れです。 (英語で調べると結構出てきますが。。。) 構築の流れとしては、catkin_makeによるノードのビル
NVIDIA Hopper アーキテクチャの徹底解説
Reading Time: 12 minutes 2022 年 3 月の NVIDIA GTC 基調講演において、NVIDIA の創業者/CEO であるジェンスン フアンが、新しい NVIDIA Hopper GPU アーキテクチャに基づく NVIDIA H100 Tensor コア GPU を紹介しました。この記事では、新しい H100 GPU の内部と、NVIDIA Hopper アーキテクチャ GPU の重要な新機能について説明します。 NVIDIA H100 Tensor コア GPUの紹介 NVIDIA H100 Tensor コア GPU は、大規模な AI や HPC において前世代の NVIDIA A100 Tensor コア GPU と比較して桁違いの性能の飛躍を実現するために設計された NVIDIA の第 9 世代データ センター GPU です。H100 は、AI と
How to Optimize a CUDA Matmul Kernel for cuBLAS-like Performance: a Worklog
Kernel 1: Naive Implementation In the CUDA programming model, computation is ordered in a three-level hierarchy. Each invocation of a CUDA kernel creates a new grid, which consists of multiple blocks. Each block consists of up to 1024 individual threads.These constants can be looked-up in the CUDA Programming guide. Threads that are in the same block have access to the same shared memory region (S
PyTorchでの学習・推論を高速化するコツ集 - Qiita
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
DockerでのディープラーニングGPU学習環境構築方法 - Qiita
DockerでGPU学習環境構築 背景 ディープラーニングでローカルPCのGPUを使った学習環境を構築した経験のある人は、一度はNVIDIAのドライバやCUDA周りでハマった経験があるのではないでしょうか？そんなバッドノウハウ（怪文章？）をまとめたQiita記事（TensorFlowでGPU学習させるためにCUDA周りではまったときの対処法）に、なんとNVIDIAの中の人(@ksasaki さん）から「Dockerを使えば…人類は幸せになれる（超意訳）」とのコメントをいただきました！ 喜び勇んで、NVIDIAのドライバをアップデートしたところ、そこには文鎮と化した起動しないLinuxマシンが…からあげのNVIDIAとの戦いは始まったばかりだ！（戦ってません） DockerでGPU学習環境構築するメリット うまく構築できればという前提で、以下のようなメリットがあります。 様々なフレームワーク
GPU/CUDAとPyTorch周りの様々なバージョンを理解する - yag's blog
前置き GPUを利用したディープラーニングの環境構築において、GPUのドライバやCUDAの諸々の設定は初学者が誰しも嵌る最初の難関と言える。私自身これまではネットの情報をあれこれ試して上手く行けばOKで済ませていたが、この辺で今一度正しく理解しておきたい。そこでこの記事を通して、GPU/CUDAとPyTorchの環境構築で遭遇する様々なバージョンの識別とその意味を理解することを目的とする。なお、細かなインストール方法やエラー対応などは本記事では扱わない。また、グラフィックボード/グラフィックカードと呼ぶべきところをGPUと表現している点もご容赦いただきたい。 [注意] この記事はGPU/CUDA素人が書いているので、細かな用語や名称の間違いが多分に含まれていると思われる。間違っていたらごめんなさい。また、事例として紹介しているバージョン番号は当然ながら時が経つにつれ古くなるので注意。 GP
CuPy カーネル融合の拡張 - Preferred Networks Research & Development
本記事は、2019年インターンシップとして勤務した徐 子健さんによる寄稿です。 2019年度夏季インターンのJoeです。この度インターンプロジェクトとしてCuPyのカーネル融合の拡張に取り組み、既存のカーネル融合の適用範囲を大幅に拡張しました。さらにその応用として、ResNet50のバッチ正規化においてCPU実行時間を30%ほど、GPU実行時間を(入力サイズに大きく依存しますがおおよそ)70%ほど削減することに成功しましたので、その取り組みをご紹介します。 背景 CuPyはNumPyと同じAPIを提供するPythonのライブラリで、CUDAを用いて演算を高速に行います。具体的には、行列・ベクトルの要素ごとの演算や、リダクションと呼ばれる、演算によって配列の次元が落ちる演算(たとえばcupy.sum)など、GPUが得意とする計算を高速に行うことができます。 さて、CuPyのGPU演算は強力で
CUDAで二次元配列の転置は高効率にできないと言ったな！あれは嘘だ！ | さかな前線
というかんじになりました． GTX 670では，そもそも速度差があんまりなくて，conflictの影響も比較的少ない． GTX 580では，かなり効果は顕著で，conflictもけっこう効く．と言ったところでしょうか． GTX 670ってFLOPSではGTX 580とは比べ物にならないほど速いし，メモリ速度も192GB/sで同じなのに，実アプリでは逆転してこの差．悲しい・・・． 全体コード CUDA 4.1以降とOpenCV 2.3以降を想定してます． 時間計測の関係でカーネルの終了を同期的に待ったり，関数を細かく分けたりとかごちゃごちゃしたことをしてます． main.cpp #include <iostream> #include <opencv2/opencv.hpp> void initialize(int _w, int _h); void send(unsigned *h_src
2015-06-16 - J waifu2x 高速化版更新
ごめん32bit版だとCUDA動いてなかったかも。 新しいのだと修正したはずだから http://d.hatena.ne.jp/w_o/20150619#1434643288 を参照してください。 CUDA版も入れた。いちおう区切りついたので32bit版も置いておく。 http://int.main.jp/files/waifu2x-converter_x86_20150616_02.exe http://int.main.jp/files/waifu2x-converter_x64_20150616_02.exe 手元のGTX765M だとまだcaffe版のほうが3%ぐらい速いので存在理由は無い。まあ自己満足だね… OpenCLあるのに CUDA 版を作った理由は、 OpenCL では shared のサイズが変えられない。ローカルメモリサイズはかなり影響するので、cuCtxSetCac
AMD GCN isa と NVIDA SASS でのアドレス演算のチューニング - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 ちょっとしたきっかけがあって、AMD用のGPUとNVIDIA用のGPU両方で高速化作業を行いました。 そのときに得られた知見を書いておきます。 AMD GCN isa と NVIDIA SASS GPUでプログラミングを行うときは、OpenCL、CUDA などを使うと思いますが、これらはより低レベルなGPU用の機械語にコンパイルされます。 AMD のGPUでは、これに”ISA”、NVIDIA の GPU では、これを”SASS”という名前が付けられています。ISAは一般的な単語なので、別に正しい名前があるかもしれませんが、ビルド時のオプションなどで指定する場合は、–isa 等を指定しているので、ここでは、GCN isa とします。 通常のGPUプログラミングでこれらを見ることはないかも
最内ループからはじめる深層学習(waifu2xの高速化)
概要 経緯 : http://d.hatena.ne.jp/w_o/20150602#1433229756 なんか社内チャットで https://github.com/WL-Amigo/waifu2x-converter-cpp をはやくしろというメッセージを受信したのでやった。 まあそれなりに頑張ったのでまとめておく 今の waifu2x のパラメータ(カーネル3x3、平面数32の倍数)に依存したチューニングをしている部分もあるが、 カーネルサイズが小さいCNNなら同じような考えかたを適用できるのではないかと思う 今の実装の効率はhttp://d.hatena.ne.jp/w_o/20150616#1434392833にあるとおり。 自分では確認できていないが、CUDA版はKeplerが効率悪くて、Fermi、Maxwellなら30〜40%程度の効率らしい。 前提知識 OpenCV が少
Faster Parallel Reductions on Kepler | NVIDIA Technical Blog
Parallel reduction is a common building block for many parallel algorithms. A presentation from 2007 by Mark Harris provided a detailed strategy for implementing parallel reductions on GPUs, but this 6-year old document bears updating. In this post I will show you some features of the Kepler GPU architecture which make reductions even faster: the shuffle (SHFL) instruction and fast device memory a
CUDAを使う：tech.ckme.co.jp
ここではGPGPU向け統合環境の一つ、NVIDIAのCUDA（Compute unified device architecture）を使って、大規模並列計算を行ってみる。 NVIDIAによれば、並列度の高い処理ではCPUと比べておよそ10倍以上の速さで処理できるという。 なお、CUDA環境をインストールすると、自動的にOpenCLも使えるようになる。OpenCLに関しては別項を参照。 目次 CUDAのインストール（Linux編） - LinuxにCUDA環境をインストール CUDAのインストール（Windows編） - Windows XPにCUDA環境をインストール CUDAのインストール（Mac OS X編） - Mac OS XにCUDA環境をインストール 初めてのプログラム - とりあえずCUDAでのプログラムに慣れてみます 拡散方程式を解く - より実用的な処理の一例として拡散
GPUで並列処理をやってみる (Codelogy)
この間のインタプリタをはじめから・・・で問題がありご指摘を受けました。 ですので次回より修正を行い、今回は GPGPU を使った計算についてやりたいと思います。 今回 nVidia の GeForce 8800 GTX というボードが手に入りましたので、専用の言語 （現在 GF8x 系のみで動作可能） であるCUDAを利用したいと思います。 CPUからの命令でGPUメモリのGPUのデータ領域のメモリを確保 CPUからGPUへメモリ内容をコピー GPUで演算処理、エラーの有無をチェック GPUからCPUへ出力用メモリ内容をコピー という流れで処理を行います。 注意しなければならない点としてGPUからCPUにメモリ内容をコピーする際、GPU内部で出力用メモリに書き出しが行われなかった場合、前回の出力結果とまったく同じものが出てきます。 (再起動してもフラッシュされない場合もありました。)
CUDAに触れてみる
インストール CUDA 1.0 がリリースされた。 あいかわらず、Windows Vista はサポートされていないが。 早速インストールする。 http://developer.nvidia.com/object/cuda.html から Windows Display Driver version 162.01 for CUDA Toolkit version 1.0 CUDA Toolkit version 1.0 for Windows XP (32-bit) CUDA SDK version 1.0 for Windows XP (32-bit) をダウンロードして、この順序でインストールする。 Toolkitは C:\CUDA に、SDKは C:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDK にインストールされる。 ドキュメン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rust でML に挑戦してみた | 豆蔵デベロッパーサイト
Accelerating Graph Betweenness Centrality with CUDA | NVIDIA Technical Blog
http://nbviewer.ipython.org/github/memelabo/JetsonMemo/blob/master/Jetson%20TK1%20IPython%20Notebook%20PyCUDA.ipynb
http://www.culatools.com/