CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
Faster Parallel Reductions on Kepler | NVIDIA Technical Blog
Parallel reduction is a common building block for many parallel algorithms. A presentation from 2007 by Mark Harris provided a detailed strategy for implementing parallel reductions on GPUs, but this 6-year old document bears updating. In this post I will show you some features of the Kepler GPU architecture which make reductions even faster: the shuffle (SHFL) instruction and fast device memory a
CUDAcuda妖精's
今回から何回かに分けてThrustのお話をします。 非常に有用なものである分他に資料も多いですが、触れずに置くのはコンセプトからしてナシだと思いましたので。 第1回の今回はまずvectorについてごく簡単に、配列の代わりに使う程度までの話をしましょう。 Thrustとは？ Thrustは端的にいうならばC++におけるSTLに相当するようなライブラリです(違いはもちろん多くありますが)。 CUDA 4.0以降自動的にインストールされるようになっているので使うのにインストールなどは必要ありません。 C++においては特にパフォーマンスを求める場合などを除き「配列ではなくvectorを使っておけ」なんて言われるものですが、CUDAにおいても特別な理由がない限り配列ではなくThrustのvectorを活用するのが良いでしょう。それぐらい有用なものです。 Thrustを使わない場合 これまでCUDAの
Warp Shuffle - CUDAcuda妖精's
Warp Shuffleとは Warp Shuffleは同Warp内の別スレッドが持つレジスタの値を受け渡すための命令です。 これを用いずにレジスタの値をスレッド間で共有するためにはシェアードメモリなどのメモリを用いる必要があります。 同Warp内(32のスレッド)でしかやりとりが出来ないので汎用性は劣りますが速度は向上します。 Warp Shuffleの使い方 WarpShuffleを行うメソッドは4種類あります。 //指定したレーン(Warp内のスレッド番号)のvarの値を受け取ります T __shfl(T var, int srcLane, int width=warpSize); //指定した数離れたスレッドのvarの値を受け取ります //upは指定した数上の番号、downは下の番号のスレッドから受け取ります //Warpの外に出てしまった場合は自身のスレッドでの値が返ってきます
GPUの実効性能を上げるDynamic ParallelismとHyper-Q(1) GPUの実効性能を上げるDynamic ParallelismとHyper-Q
NVIDIAのKepler GPUでは、Dynamic ParallelismとHyper-Qという新機能が搭載された。従来、この機能が使えるGPUは、Top500 1位のTitanスパコンなどに使われているK20とK20Xという科学技術計算用のアクセラレータボードだけであったが、2013年2月に発表されたコンシューマ向けのGeForce GTX Titanでもサポートされ、1000ドル以下のGPUボードでDynamic ParallelismとHyper-Qが使えるようになった。 これは比較的安価なGTX Titanを搭載するPCやワークステーションで、Titanスパコンなどのソフトウェアの開発が可能になり、また、大規模なスパコンで開発された構造解析や薬剤シミュレーションなどのプログラムが(解ける問題規模は小さいが)ワークステーションで実行できるようになることを意味している。 GPUでの
GPGPU（GPUプログラミング概要）
ホスト側とGPUボードは PCI バスを通してデータの交換を行います。 GPU内に転送速度は非常に速いが、メモリ・アクセスの遅延（レイテンシ）の大きな「デバイスメモリ」を有します。現在の実装では、数 GB オーダーの容量を有します。 デバイスメモリとGPUの演算装置（「Streaming Multiprocessor (SM)」と言う。あるいは単に Multiprocessor と言うこともある。）の間に、ソフトウェアで管理できるキャッシュ(Shared Memory)とハードウェアで制御できる L1/L2キャッシュ（Fermi以降）が存在する。 Streaming Multiprocessor (SM) は、演算器の集まり（クラスタ）であり、この演算器の最小単位は、Streaming Processor（SP）、あるいは CUDA coreと称される。一つの SM の中に 8個の SP
第６回 CUDAプログラミングモデル① | G-DEP
第６回 「CUDAプログラミングモデル①」 ＜＜ 第５回 ｜ 目次に戻る ｜ 第７回 ＞＞ 今まで色々とCUDAを用いたGPUコンピューティングについてお話してきましたが、いまいちCUDAってまだよく分からないという方もいるかもしれません。 今回は、CUDAがどうGPUと絡んでくるのか、C言語とどう違うのかなど、CUDAプログラミングの概念についてなるべく分かりやすく要点を押さえて解説していきたいと思います。このCUDAプログラミングモデルこそGPUコンピューティングのキモになってきますので、しっかりと勉強するため次回と合わせて２回に分けてお送りします。 それではまずはもう一度CUDAについての話から始めましょう。 NVIDIAはGPUシリーズを開発・展開していく中で、2006年に発表されたGeForce 8800では、それまでハードの部分でグラフィックス専用の構造だったと
Kepler GPUアーキテクチャとプログラム最適化(2) GPUはどうやって命令を処理しているのか
GPUの命令の実行方法 CPUでは、基本的に1つの命令列で一組のデータを処理する。これに対して、GPUでは命令列は1つであるが、多数のデータの組を並列に処理するという方法を採る。例えば、3次元図形の頂点の座標変換を行うには、それぞれの頂点座標に変換行列を掛ける。この時、複雑な図形であれば頂点は多数あるが、変換行列を掛ける手順(プログラムの命令列)はすべて同じである。つまり、1つの命令列で、多数の異なる頂点座標データに同じ変換行列を掛けてやれば、多数の頂点の座標の変換を行うことができる。これは、座標変換を行うプログラム(スレッド)を並列に実行したことと同じである。NVIDIAは、この処理方法をSIMT(Single Instruction Multiple Thread)と呼んでいる。 GK110のような複雑なチップの全貌を1つの図にまとめるのは難しいが、おおよそ、上の図のような構造になって
文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方 - スティルハウスの書庫の書庫
ここのところ重度のFPGA中二病にかかってしまい、冬休み中もDE0ざんまいな日々。気になっていた金融のHFT（high frequency trading：大手投資銀行等がμ秒単位の超高速で株式等を売り買いしてる恐ろしい市場）におけるFPGA利用状況について、HFT Reviewにこってりしたレポート（HFT業界のベンダー各社にインタビューしたもの）が載っていたので、勢い余って面白かった部分を超訳してしまった。 元ネタはこちら： FPGA & Hardware Accelerated Trading, Part One - Who, What, Where and Why? FPGA & Hardware Accelerated Trading, Part Two - Alternative Approaches FPGA & Hardware Accelerated Trading, P
マイクロソフトはどうやってBingをFPGAで実装したか - Qiita
ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにFPGAに移行済み。IBMが最近出したData Engine for NoSQLという製品ではPOWER8プロセッサにFPGAを直付けしてRedisを高速化したり。いよいよデータセンターにも、先の見えないCPUに代わってFPGAやGPUを導入する波が押し寄せつ
CUDA - 複数のGPUを使う：tech.ckme.co.jp
一枚のグラフィックカードに複数のGPUを載せたGeforce 9800 GX2や、SLIを使って複数のグラフィックカードを搭載したシステムでは、これらを同時に使って処理能力を高めることができる。 今回は、2つのGPUを使って一次元拡散方程式を解いてみる。 複数のGPUを使う場合、pthreadなどを使い、GPUの数だけスレッドを作成する。 GPU間で直接データをやりとりする方法はないので、それぞれ、メインメモリを介してデータのやりとりをする。 1つのGPUを使った並列処理はOpenMPに近いものがあるが、一方複数のGPUを使った処理はMPIのような処理となる。 今回使ったシステムは、 Opteron 2.0 GHz NVIDIA Geforce 9800 GX2 OpenSUSE 10.2 である。 一次元拡散方程式を2つのGPUで解く まず、diff1dmgpu.cuであるが、 #inc
NVIDIA CUDA 対応 GPU に対するMATLAB GPU コンピューティングのサポート
MATLAB では NVIDIA® GPU を使用することにより、AI やディープラーニング、その他計算量が多い解析を CUDA® プログラマーでなくとも高速化できます。MATLAB と Parallel Computing Toolbox を使用すると、以下を行うことができます。 MATLAB から直接 NVIDIA GPU を使用(1000以上の組み込み関数が対応)。 MATLAB ワーカーおよび MATLAB Parallel Server を使用して、デスクトップ、コンピューティング クラスター、クラウド上の複数の GPU へアクセス。 GPU Coder を使用して CUDA コードを MATLAB から直接生成し、データセンター、クラウド、組み込みデバイスへ実装。 GPU Coder を使用して MATLAB から NVIDIA TensorRT™ コードを生成し、低遅延・高ス
GeForce 200 series - Wikipedia
The GeForce 200 series introduced Nvidia's second generation of Tesla (microarchitecture), Nvidia's unified shader architecture; the first major update to it since introduced with the GeForce 8 series. The GeForce GTX 280 and GTX 260 are based on the same processor core. During the manufacturing process, GTX chips were binned and separated through defect testing of the core's logic functionality.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AMDはなぜ資金面で圧倒的に勝ると思われるIntelを凌駕するCPUを開発できるのでしょうか？
CUDA's warp shuffle for double-precision data
Using more than one GPU in matlab
Page Not Found
G-DEP - NVIDIA DGX | NVIDIAエリートパートナー
Dan Ciresan | CUDA Spotlight | NVIDIA
Tesla および Quadro GPUでMATLABをアクセラレーション | NVIDIA