タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
実は最大並列数の制限がなければジョブ(標準入力からの一行単位のデータ)の数だけバックグラウンドプロセスを起動すればいいのでかなり簡単に実装できます。ですが普通は嫌ですよね?ということで最大並列数を制限する処理を入れています。また通常の利用で必要になりそうな CTRL-C と TERM シグナルへの対応もしています。 #!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 # INT(CTRL-C)、TERM による終了処理 terminate() { trap '' TERM kill -TERM 0 exit "$1" } trap "terminate 130" INT trap "terminate 143" TERM # trap : CONT # 並列で実行される処理 fu
マルチコア化の未来予測 半世紀前にSF映画「2001年宇宙の旅」に登場するコンピューターHAL-9000が並列コンピューティングの未来を示しました。マルチコアで構成されたコンピューターの物理コアを取り除いてもすぐにクラッシュせずに性能ダウンして処理が継続するという演出がありました。 当時ですらシングルコアコンピューティングの限界が予想されていて、現状のコンピューティングがマルチコア化しているという未来をしっかり予測できていたことがわかります。 演出はコア数に応じてコンピューティング性能がスケールしていることを表現しています。これはマルチコアスケールするソフトウェア実装の未来を示していたと思います。 シングルコア性能向上の頭打ち 2003年以降あたりはCPUの動作周波数が伸び悩み出したところ。 https://queue.acm.org/detail.cfm?id=2181798 より その
強いパスワードを作成するアプリを作りましたが、実際現代のパソコンでパスワードを突破するのにどの程度の時間がかかるか検証してみました。 手頃で高速でマルチコアに強そうという理由でGo言語を使ってみた結果、1秒間に18万パスワードをトライできる性能となりました。数字7桁のパスワードなら1分、8桁でも遅くとも10分で突破できます。 パスワードトライ中、全CPUフルに使い切ってます! goルーチンを使って、1,2,3,4,5・・・と増やしてみたところ、Core i5の2コア4ハイパースレッディングでは、3が最も速いという結果となりました。ただ、最速でも1スレッドの2倍弱にしかなりませんでした。 そもそも、今回のプログラムは無駄が多いので、パスワードトライに特化してメモリの動的確保を0にすれば、更に10倍くらい速くもできるはず。 GPUをうまく使えば、飛躍的な高速化ができるかも? アルファベット小文
gzip の限界 = CPU 1コア マルチコア・マルチスレッドのCPUがあるのに、gzip や lzma(xz)や bzipといったメジャーな圧縮は、CPUを1コアで処理するんですね。 CPU使用率を見てみたら、CPU利用率は100%を超えないんですね。 HDD・SSDの書き込み速度に限界があるからそれでも良かったんだろうが。いまはメモリが一般的に64GBもある時代です。うちのマシンでもメモリが12GBもあるのに3GB程度の圧縮に、5分とか耐えられません。もうちょっと速くしたい。 cpu利用率が100%で頭打ちになる。gzip gzipを使ってると、CPU利用率が100%で止まるんですよね。lzma などの他の圧縮でも同じ。 gzip/ gunzip をマルチで処理する pigz / unpigz Pigz のマニュアルには次のように書いてある。スレッドを使って並列処理をするっぽい。 P
2023年10月31日に開催されたAppleの新製品発表イベントで、Appleシリコンの次世代チップとなる「M3」「M3 Pro」「M3 Max」の3つが発表されました。このチップはMac用Appleシリコンとして初めて3nmプロセスで製造されたチップとなり、Appleはパフォーマンスの大きな向上をアピールしていましたが、M3 Proのマルチコアパフォーマンスのベンチマークスコアが前世代のM2 Maxと変わらないという結果が報告されています。 First Apple M3 Pro Benchmarks Show Surprisingly Low Multi-Core Gains Over M2 Pro | Extremetech https://www.extremetech.com/computing/first-apple-m3-pro-benchmarks-show-surprisi
多言語からみるマルチコアの活かし方 はじめに 近年では1つのCPUに複数のコアが搭載されたマルチコアが一般的になっています。 しかし、現状のプログラミング言語ではエンジニアが意識せずにマルチコアをしたプログラムを作ることは難しいです。 そこで、様々な言語から見たマルチコアの活かし方について説明していきます。 プロセスとスレッド プロセスとは1つ1つのアプリケーションといった実行中のプログラムのことで、スレッドは CPU利用の単位です。プロセスは次のように1つ以上のスレッドを持っており、CPUのコア数分だけスレッドを処理することができます。(また、近年ではSMTという技術によって1つの物理コアで2スレッドといった複数のスレッドを処理することができます。2コア4スレッドみたいなやつです) マルチコアを有効活用してプログラムを実行するためにはCPUが処理できるコア数に対して適切な数のスレッドをプ
※1) redis7.1.0の計測値同士、同じサイズのm5系インスタンスとの比較を出しています (例:m7g.large⇔m5.large) Enhanced I/O Multiplexingの効果により、マルチコア環境のRedis7系での利用時に数倍以上のパフォーマンスが発揮されているのがわかりました。特に直近の7.1.0へのアップデートでは、m7g.2xlarge以上(物理8コア以上)でさらに性能が発揮されています。”up to 72% increased throughput” (AWSブログから抜粋) とうたわれていましたが、間違いではなかったようです。 実際にm7g.2xlargeにEngineCPUUtilizationが100%に張り付くような負荷をかけた場合のRedis7.0.7とRedis7.1.0のメトリクスを比較した場合、インスタンス全体のCPUがRedis7.1.0
AppleはM1 Appleシリコンチップを搭載した新型MacBook Air、MacBook Pro、Mac miniを発表しましたが、その最初のベンチマークがGeekbenchサイトに登場しています。 見つかったベンチマークは、モデル名が「MacBookAir10,1」「MacBookPro17,1」「Macmini9,1」となっており、それぞれ、M1搭載のMacBook Air、MacBook Pro、Mac miniとなっています。 結論から先に書いておくと、シングルコア・スコアはMac史上最高、マルチコア・スコアは現行16インチMacBook Proを超え、Macノートブック史上最高の結果となっています。 M1搭載モデルのベンチマークスコア シングルコアを比較 マルチコアを比較 M1チップ M1搭載モデルのベンチマークスコア M1搭載のMacBook Airは、8GB RAMのメ
Appleが発表したM2/M2 Pro搭載の新型Mac mini (2023)のベンチマークが早速登場しています。 M2 Pro搭載のMac miniは、M1搭載Mac miniやM1 ProおよびM1 Max搭載のMacBook ProやMac Studioと比較して、性能が大幅に向上していることが明らかになりました。 Mac mini 2023年モデル今回Geekbenchで公開されたスコアは、M2 Pro、16GBのメモリを搭載したMac mini(モデルID:Mac14,12)で、シングルコアが1,952、マルチコアが15,013でした。 比較として、M1 Mac miniはシングルコア1,651、マルチコア5,181、M1 Pro搭載14インチ&16インチMacBook Proはシングルコア1,734、マルチコア10,076、M1 Max搭載Mac Studioはシングルコア1,
本稿では、各種マルチコアプロセッサを紹介し、それらのデバイスが広く使われるようになった理由を含む、マルチコアプロセッシングのさまざまな側面について論じます。また、1個のチップ上に複数のコアを搭載することによって生じる問題に着目し、最新のマルチコア認識型デバッガを使用することで、それらの複雑なタスクにいかに容易に対応できるかを示します。 システム性能 組込みコンピューティングシステムの性能を向上させるには、巧妙なコンパイラアルゴリズムを使用したり、効率的なハードウェアソリューションを実現するなど、多岐にわたる方法があります。例えば、コンパイラの最適化は、読みやすく理解しやすい高水準な言語で書かれたコードから最も効率的な命令スケジューリングを得る上で非常に重要です。また、システムはプロジェクトにおいて、並列処理の利点を生かして同時に複数の処理を行うことができます。もちろん、クロック周波数のスケ
M1チップ搭載MacBookのCinebench R23、マルチコアが7,508 2020 11/17 M1チップ搭載MacBook Proを入手した海外ユーザーから、CPUベンチマークソフトCinebench R23のベンチマーク結果が報告されました。 M1チップ搭載MacBook ProのCinebench R23の結果 TwitterユーザーのAli King Fans Intl(@mnloona48_)氏によれば、M1チップ搭載MacBook Pro/8GBメモリ/512GBストレージモデルのCinebench R23のベンチマーク結果はマルチコアが7,508、シングルコアが1,498とのことです。 8gb ram 512 ssd — Ali King Fans Intl (@mnloona48_) November 16, 2020 本スコアは10分間動作させて計測したもので、そ
Linux標準の gzip や gunzip だとシングルでの処理(1 CPUだけ)になってしまうので、gzファイルを高速に解凍(圧縮)したい!! という時に残念な気持ちになります。 そこでその残念な気持ちを救うのが pigz というLinuxソフト。 マルチコアを活かして並列処理で圧縮・解凍ができるので、CPUをたくさん積んでいる環境だと爆速に処理することができるようになります。 インストール方法 pigzは外部リポジトリのEPELリポジトリを利用してyumインストールすることも可能ですが、僕的にはサクッと簡単安心?なソースインストールをおすすめしています。 まずはインストールディレクトリに移動してソースパッケージをダウンロードしておきます。
NVIDIAがプロセッサのDPUの違いについてブログを公開したので紹介しよう。 CPU (セントラル プロセッシング ユニット) は既におなじみだと思う。長年にわたり、柔軟性と応答性に優れた CPU は、ほとんどのコンピューターにおける唯一のプログラマブルな要素だった。 最近では、GPU (グラフィックス プロセッシング ユニット) が中心的な役割を果たすようになった。元々はリッチなリアルタイムのグラフィックスを提供するために使用されていたが、その並列処理能力によりあらゆる種類のアクセラレーテッド コンピューティング タスクに理想的な存在となっている。 これは、人工知能 (AI)、ディープラーニング、およびビッグ データ分析アプリケーションを実現する鍵となっている。 しかし、この十年間で、コンピューティングは PC やサーバーという箱型の制約から抜け出し、CPU とGPU は、新たなハイパ
こんにちは。株式会社メルペイのSolutionsチームのデータエンジニアの@orfeonです。 この記事は、Merpay Advent Calendar 2023 の22日目の記事です。 Solutionsチームは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 私は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 過去の記事では全文検索OSSであるApache SolrをCloud Run上で利用して手軽に検索APIを構築する構成を紹介しました。 社内向けのソリューションの一つとして社内向けの検索APIを使ったサービスなど小規模な検索システムの構成に役立てています。 前回の記事の時点では、検索対象として搭載できるデータサイズなどにいくつかの制約がありました。 今回
アップルの独自プロセッサM1チップの次期モデル「M1X」とされるベンチマークスコアが、ベンチマークサイトCPU Monkeyに2月16日に掲載された。 スコアによると、M1Xは8つの高性能コア(Firestorm)と4つの高効率コア(Icestorm)の合計12コアを抱えたCPUに、16コアの内蔵GPUを搭載している。 気になるベンチマークスコアは、Cinebench R23でシングルコアが1514、マルチコアが14450。シングル性能はM1チップと同等であるものの、マルチコアではM1の7760の約2倍となっている。 なお、CPU Monkeyはこれらのスコアはプレサンプルに基づいた情報であり、最終的なベンチマークスコアは異なる可能性があると注意書きを表示している。
ノートPC向けのArmベースチップとしては、目下アップルが「M1」や「M2」といったAppleシリコン(独自開発プロセッサ)を投入して独走中である。これに対抗できるのはクアルコムだけだと見られており、実際に同社のCEOは先日、M2を上回る市場において最高のプロセッサを開発できると宣言したばかりだ。ただし投入は、2023年末だとされている。 アップルのM2チップの画像 2022年6月現在、クアルコムのWindowsノートPC用フラッグシップSoCは「Snapdragon 8cx Gen 3」である。だが、この最新SoCのパフォーマンスが、M2チップに大きく後れを取っていることが指摘されている。 今のところSnapdragon 8cx Gen 3は、Lenovo製のモバイルノートPC「Lenovo ThinkPad X13s」(日本では6月内に発売予定)に搭載されている。クアルコムは同チップの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く