CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
LightGBMをGPUで速度検証 - tkm2261's blog
LightGBMとは Microsoftが公開しているGradient Boosting Decision Tree（GBDT）の実装です。 github.com GBDTの実装で一番有名なのはxgboostですが、LightGBMは2016年末に登場してPython対応から一気に普及し始め、 最近のKaggleコンペではxgboostよりも、Winning Solutionで多く見る気がしています。 私もQuoraコンペではお世話になりました ニートなので金がない 在職中は会社のマシンで回してたりしたので、気軽に32コアぐらい使ってましたが、 ニートで自費で借りると破産しかねないのでGPUで高速にならないかなーと思って検証しました。 環境構築 AWSのp2.xlargeでAnaconda3系使って検証しました。 基本はここに従います。 LightGBM/GPU-Tutorial.md a
論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみました (3)：学習方法編 - Fixstars Tech Blog /proc/cpuinfo
Fixstars Tech Blog /proc/cpuinfo » 未分類 » 論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみました (3)：学習方法編 速度 学習速度 3万枚の画像を50 epoch学習するのにTitan X GPU 1基で約25時間 推論速度 512×256画像で35ms未満 (28 FPS以上) (GPU-CPU間のデータ転送時間込み) ハイパーパラメータなど パラメータ数 31 million (ResNetの場合、48 million) ハイパーパラメータ \(\alpha_{ap} = 1\), \(\alpha_{lr} = 1\) 前投稿の通り、マルチスケール(4スケール)の視差マップを出力します。 出力される視差は、 \(d_{max}=0.3 \t
SIMD / GPU Friendly Branchless Binary Search
The other day I was thinking about how you might do a binary search branchlessly. I came up with a way, and I’m pretty sure I’m not the first to come up with it, but it was fun to think about and I wanted to share my solution. All code in this post is public domain. Here it is searching a list of 8 items in 3 steps: size_t BinarySearch8 (size_t needle, const size_t haystack[8]) { size_t ret = (hay
2電子積分(d,f含む)をGPUで高速に計算する(10倍～20倍)という論文とプログラム - 中田真秀(なかたまほ)のブログ
2電子積分(d,f含む)をGPUで高速に計算する(10倍～20倍)という論文とプログラム http://ow.ly/10vQyk http://github.com/miaoyipu/quick Acceleration of High Angular Momentum Electron Repulsion Integrals and Integral Derivatives on Graphics Processing Units Yipu Miao and Kenneth M. Merz, Jr. ABSTRACT: We present an efficient implementation of ab initio self- consistent field (SCF) energy and gradient calculations that run on Compute Un
全点対間最短路を高速に求める - Fixstars Tech Blog /proc/cpuinfo
それぞれのプロセッサ用の愚直な実装と比べてみると、CPUでは約25倍、GPUでは約42倍の性能向上となりました。 また、CPUでは限界の65%程度、GPUでは限界の80%程度の性能を出すことができています。 なんとなくではありますがCPU版はもう少し詰められそう、GPU版はCUDA Cでここから先はきつくなりそうといった気がします。 まとめ ワーシャル-フロイド法を通して、同じハードウェア・同じ計算量であっても性能に大きな差が出る例を示しました。 ICPCのようなコンテストではあまり定数倍のチューニングは重要視されませんが、このような方法でのアルゴリズムの高速化にも興味を持っていただければ幸いです。 参考文献 [1] Joon-Sang Park, Michael Penner and Viktor K Prasanna. “Optimizing graph algorithms for
GPUとセルオートマトンで経路探索問題を解いてみる | POSTD
前回は、グラフィックカード上だけで コンウェイのライフゲームを実行するアイデアを説明しました 。このアイデアは、3つ以上の状態を有するオートマトンを含め、 どのような セルオートマトンにも当てはめることができます。今回の投稿では、二次元グリッドの 最短経路問題 をGPUだけで解決するのに、このアイデアを活用してみたいと思います。CPUによる従来の検索と比べても、その速さは遜色ありません。 JavaScript側の状態は基本的に以前と同様なので（2つのテクスチャと、それらを繋いでオートマトンを次のステップに進めるフラグメントシェーダ）、ここでは説明は割愛します。変更したのは次の2点、（オートマトンの全ての状態を表現する）セルの状態のエンコーディングと（新しいルールをプログラムする）フラグメントシェーダです。 オンラインデモ （ ソース ） デバッグや実験のために使ったセルオートマトンの純粋な
bit vector + popcntでバイナリ素性のk-NN分類器を高速化する - シリコンの谷のゾンビ
こんばんは @sleepy_yoshi です．Machine Learning Advent Calendar 2012 の11日目を担当します．サモア時間ではまだ12月11日なので間に合いましたね．今日はバイナリ素性ベクトルの内積計算にSSE4.2のpopcnt命令を用いて高速化することでk-NN分類器を高速化する話について書きます． このブログでは普段である調で書いていますが，今日はなんとなくですます調で書きます． k-NN (k Nearest Neighbor) 分類器はラベルを予測したい事例に対して，訓練データとして与えられたラベル付き事例集合の中からk近傍の事例のラベルを用いて予測する，という分類器です．k近傍を求めるために，訓練データに含まれる事例全てに対する類似度を計算する必要があります．類似度には様々な尺度が利用されますが，ここでは内積とします．そのためk個の近傍を発見す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
