CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
perfを用いたシステムのボトルネック解析方法
背景システムの処理速度を改善するために、ボトルネック解析を行う必要があった。 ボトルネック解析の方法と、プロファイリングに使用したperfの使用方法に関して調査を行った。 記事の目的perfを使用し、ボトルネック解析を行う ここでは、perfの導入方法及び使用方法について記載する。 perfとはperf(Performance analysis tools for Linux)とはLinuxカーネル2.6.31以降で使用可能なLinuxの性能解析ツールである。 実行されているプロセス毎のCPU使用率やプロセス内で呼ばれている関数の割合などを調査できる。 利点gprofのように、プログラム作成時に専用のライブラリを入れたり、コンパイル時にオプションをつける必要がない フレームグラフにして、ビジュアライズできる 導入方法(Ubuntu編)Ubuntu16.04へperfを導入する手順について記
Apple M1の参照カウントは本当に速いのか - yamasaのネタ帳
Apple M1に関して以下のようなツイートが話題になった。 18/ Another "magic" trick is how their "Swift" programming language uses "reference counting" instead of the "garbage collection" in Android. They did something in their CPU to double the speed of reference counting.— Robᵉʳᵗ Graham😷, provocateur (@ErrataRob) 2020年11月26日 fun fact: retaining and releasing an NSObject takes ~30 nanoseconds on current gen Intel, and ~6.
各種メモリ／ストレージのアクセス時間，所要クロックサイクル，転送速度，容量の目安 - Qiita
各種メモリ／ストレージについて，2023年時点で標準的なアクセス時間，所要クロックサイクル，転送速度，容量を，各種カタログスペックを参考にまとめてみました． レジスタ(レジスタファイル) 最近のCPUのレジスタ(register)のアクセスは，通常CPUの1クロックサイクルで完了します．2023年時点では，標準的なCPUのクロック周波数は，1〜4GHz程度のオーダーです．1GHzは1秒あたり10億回，すなわち1クロックサイクルは1ナノ秒です． したがって，2023年時点では，レジスタには0.25〜1ナノ秒程度でアクセスできると言えます． レジスタのメモリ容量は，レジスタファイルに存在するレジスタ数に依存します，これは命令で明示的に指定できるレジスタ数という解釈もありますが，レジスタ・リネーミングのようなプロセッサ技術を用いると，実際にはより多くのレジスタ数を持っていると解釈することもできま
CPU律速なRuby/Pythonコードはデフォルト設定のdocker上で遅くなる - まめめも
English version 要約 dockerはデフォルトでセキュリティ機構（Spectre脆弱性の対策）を有効にします。この影響で、RubyやPythonのようなインタプリタは速度が劣化します。特にCPU律速なプログラムで顕著に遅くなります（実行時間が倍くらいになることがあります）。 現象 Rubyで1億回ループするコードを、直接ホスト上で実行する場合と、docker上で実行する場合で実行時間を比較してみます。 直接ホスト上で実行した場合： $ ruby -ve 't = Time.now; i=0;while i<100_000_000;i+=1;end; puts "#{ Time.now - t } sec"' ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x86_64-linux] 1.321703922 sec docker
コード最適化(高速化)の基礎 - カレーなる辛口Javaな加齢日記
qiita「100万倍速いプログラムを書く」 http://qiita.com/Akai_Banana/items/48a35d2a40d1804d3b32 いまさらだけどホットエントリ経由． プログラミングを始めたばかりで高速化の大枠が全くわからず意味不明なことをしていた在学時、こんな資料があったら良かったのになあ、と思って書いたもの。 内容をまとめるとこんな感じ． id:vanbraam ここまでCPU-intensiveな処理が通常のプログラムでは殆どない.本稿の言に従えば"律速段階"はそこじゃない事が多い;MathJax+math/tex->MathMLでこれだけの数式が書けるのを知る事ができたのは大きな収穫 id:kmaebashi 『つまり、Pythonはコードを一行ずつ機械語(010011011...）に変換（コンパイル）して動作します。』呪いのように何度も出てくる間違いだ…
CPU使用率は間違っている | Yakst
Netflixのパフォーマンスエンジニアである筆者からの、topコマンドなどで表示されるCPU使用率(%CPU)は、いまや本当の使用率を表しておらず、チューニングなどのための指標として使えないという指摘。なぜそうなってしまったのか、何を見れば本当のCPU使用率がわかるのかをわかりやすく解説した記事。 私たちみんながCPU使用率として使っている指標は非常に誤解を招くもので、この状況は毎年悪化しています。CPU使用率とは何でしょうか？プロセッサーがどのくらい忙しいか？違います。CPU使用率が表しているのはそれではありません。私が話しているのは、あちこちで、あらゆる人たちに、あらゆる監視製品で、あるいはtop(1)でも使われている、"%CPU"という指標のことです。 あなたの考えているであろうCPU使用率90% : 実際 : "stalled"(訳注 : 以下ストールと言う)とは、プロセッサーが
メニコア環境におけるJavaコンテナのパフォーマンス低下 - Qiita
2018/04/08追記： まとめにJava10に関する記載を追加しました。 2017/06/02追記： 調査内容をまとめて記載を大幅に更新しました。 2017/06/01追記： 記事の最後に「JDK8/9以降の本問題の取り組み」を追加しました。OpenJDK8の8u121.b34、8u131.b06で対処済みのようです（本当に修正されているかは別途確認する予定）。 どちらの対処版も2017年以降にリリースされているため、頻繁にJDK/JREを更新してない場合は確認しておくとよいです。 まとめ (Java10以降) Java10では、正式にDockerコンテナをサポートするようになりました。Dockerコンテナ上のJavaプログラムはDockerコンテナで設定したCPU、メモリ等のリソース設定を把握できるようになったため、この記事で書いているメニコア問題は解消します。 Java10にDoc
Python: Keras/TensorFlow の学習を CPU の拡張命令で高速化する (Mac OS X) - CUBE SUGAR CONTAINER
今回のネタは TensorFlow を使っていると、いつも目にしていた警告について。 それは、次のようなもの。 W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are available on your machine and could speed up CPU computations. W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on yo
AVX2を使ったテーブル引き処理について - Qiita
AVX2 intrinsics 関数を使ったテーブル引き処理について解説します。 1バイトインデックスによる1バイト要素のテーブル引き処理 __m256i型のサイズは256ビットで1バイト型(char, unsigned char)の情報を32個格納する事が出来ます。 __m256i型の変数の32個のそれぞれの 0～255 の値でテーブル引きをした値を、__m256i型の値で返す処理の実装を紹介します。 単純な実装 以下は intrinsincs 関数を使わずに書いたものです。 VC++では使えますが、GCCではコンパイルエラーが起きました。 __m256i型の共用体のメンバーアクセスは移植性が低いみたいですね。 #ifdef _MSC_VER #define YESINLINE __forceinline #else #define YESINLINE __attribute__((al
CPU高速化の常套手段 パイプライン処理の基本 【その1】 (4/4)
sponsored AI向けのワークステーションやサーバーもズラリ ほかにない特徴や魅力が多数！ COMPUTEXのSilverStoneブースをチェック sponsored クラウドストレージの使いやすさ、快適さのカギを握る「同期処理のスピード」 ファイルサーバーの「使い勝手」を変えずクラウドストレージへ引っ越すには？ sponsored ゲームのスクショ、プレイ動画の編集におすすめ AMD Radeon、AIバッチリ使えます：Adobe PhotoshopやPremiere Proで検証 sponsored G-Master Spear FX7をレビュー 「FFXIV: 黄金のレガシー」が4Kでも遊べるゲーミングPC、「次の10年」にふさわしい仕上がり sponsored テクノロジーとデザインで“コンテンツを創造する力”を高める取り組み、ネットワークの役割 TBSのR&D拠点「Tec
そして最近の分岐予測について2 - なるせにっき
先日の日記で最近のIntel CPUでは間接分岐の分岐予測がほとんどミスしなくなっているという話を紹介しましたが、Branch Prediction and the Performance of Interpreters - Don't Trust Folkloreという論文にまさに同じことが書かれているのを見つけました。ていうか、この論文わたし見た形跡がある……。 去年にこの論文を見かけたときは「Direct threaded codeとかオワコン」って話までしか見てなかったんですが、今改めて見ると分岐予測が世代ごとに進化していてすごいって話に加えて、ITTAGEという分岐予測手法を使うと同じくらい当たるって書いてありますね。 ITTAGEはTAGE (TAgged GEometric length predictor)の間接分岐版で、TAGEは原論文がA case for (parti
LinuxでCPU負荷をさくっと掛ける - Qiita
概要 たまにサーバーに負荷試験をしたくなるわけだが、さくっとやりたい。そんなメモ。 yesコマンドを使う /dev/nullに対してyesと呟き続ける機械にさせる。
PyPy Tooling Upgrade: JitViewer and VMProf
We are happy to announce a major JitViewer (JV) update. JV allows you to inspect RPython's internal compiler representation (the language in which PyPy is implemented) including the generated machine code of your program. It can graphically show you details of the JIT compiled code and helps you pinpoint issues in your program. VMProf is a statistical CPU profiler for python imposing very little o
データ指向設計
こんにちは、Cygames Research の多胡です。これまで10年以上コンソールゲーム開発を行ってきていて、最近ではハイエンドゲームエンジンを制作しておりました。Cygames でもハイエンドゲームエンジンの開発に携わることになりました。 ゲームエンジン開発を行う上で重要な考え方にデータ指向設計 (Data Oriented Design) というものがあります。今回はこのデータ指向設計を例を交えながら紹介させていただきます。 背景 データ指向設計の考え方は 2009年頃から有名になりました。 この 30年で CPU の性能は1万倍以上になりましたが、メモリの転送速度は10倍にもなっていません。そのため、プログラムのボトルネックはメモリ帯域となることが多くなりました。ゲームにおいても CPU はほとんどの時間がメモリからのデータの転送待ちになっています。CPU の性能を引き出すために
特定条件下のclone(2)を4倍速くする - 人間とウェブの未来
とあるサーバで妙にシステムCPUの使用率が高い現象が置きておりました。 そこで、まずはざっくりとperf topでプロファイルをとってみると、以下のようになっていました。 22.38% [kernel] [k] copy_pte_range 18.44% [kernel] [k] zap_pte_range 11.13% [kernel] [k] change_pte_range 3.58% [kernel] [k] page_fault 3.32% [kernel] [k] page_remove_rmap また、各プロセスのstraceを眺めていると、cloneで0.05秒とかなり時間がかかっているようです。これだと単純計算で1コアで秒間20回のcloneでコア100%占有してしまう程度の非常に低速な処理しかできないことになります。 sudo strace -T -o/dev/stdo
3.2. CPUfreq Red Hat Enterprise Linux 7 | Red Hat Customer Portal
電源管理ガイド 1. 概要 Expand section "1. 概要" Collapse section "1. 概要" 1.1. 電源管理の重要性 1.2. 電源管理の基本 2. 電源管理の監査と分析 Expand section "2. 電源管理の監査と分析" Collapse section "2. 電源管理の監査と分析" 2.1. 監査および分析の概要 2.2. PowerTOP 2.3. Diskdevstat and netdevstat 2.4. バッテリ寿命ツールキット 2.5. Tuned 2.6. UPower 2.7. GNOME Power Manager 2.8. 監査用のその他のツール 3. コアインフラストラクチャーとメカニズム Expand section "3. コアインフラストラクチャーとメカニズム" Collapse section "3. コアイン
実行した命令数をカウントする - Fixstars Tech Blog /proc/cpuinfo
一週間で三回ぐらい聞かれたので知っている範囲で書いておきます。 パフォーマンスカウンタの値をとる 全命令をカウントするINST_RETIREDがありますが、もう少し詳細な値も取れます。 http://www.intel.com/content/www/us/en/processors/architectures-software-developer-manuals.html の、Volume 3B: part2 Chapter19 から対応するCPUを探して、欲しいカウンタを探してみましょう。 UOPS_EXECUTED_PORT.PORT_{0,1,..} (Event=0xb1, Umask=0x01) など 実行ポートごとに取得できます。uops単位なのでx86命令単位より増える可能性があります UOPS_DISPATCHED_PORT.PORT_{0,1,..} (Event=0x
TCPを（少しは）理解しておくべきその理由 | POSTD
この記事はTCPの 全て を理解する、あるいは 『TCP/IP Illustrated』 （訳注：日本語版: 『詳解TCP/IP〈Vol.1〉プロトコル』 ）を読破しようとか、そういうことではありません。ほんの少しのTCPの知識がどれほど欠かせないものなのかについてお話します。まずはその理由をお話しましょう。 私が Recurse Center で働いているとき、PythonでTCPスタックを書きました（ またPythonでTCPスタックを書いたらどうなるかについても書きました ）。それはとても楽しく、ためになる経験でした。またそれでいいと思っていたんです。 そこから1年ぐらい経って、仕事で、誰かが「NSQへメッセージを送ったんだが、毎回40ミリ秒かかる」とSlackに投稿しているのを見つけました。私はこの問題についてすでに1週間ほど考え込んでいましたが、さっぱり答えがでませんでした。 こ
Etsukata blog: FreakOut DSP 入札サーバの CPU 使用率を 30% 削減する Performance Tuning
はじめに 勤務先の FreakOut 社では RTB で広告枠を買い付ける DSP の開発・運用を行っています。RTB とは、インターネット広告のインプレッションが生じる毎に、広告枠の競争入札を行う仕組みです。 DSP とは、 RTB において、競争入札をする側のシステムになります。広告枠/広告を見ている人 に対し、最適な広告を、最適なタイミングで届ける機能を広告主に提供する仕組みです。 FreakOut DSP は最適な広告探索・入札価格調整のため、非常に多くのデータを参照し、沢山の演算処理を行います。広告を見ている人が過去にアクセスした Web ページの情報や検索ワード、さらに 広告がクリックされる予測確率(過去のログから機械学習で算出) などを参照し、入札価格を決定するのです。そのため、DSP で入札を担当するサーバは CPU がボトルネックになっており、台数も数百台に嵩んでいます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
