アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件 - blog.nomadscafe.jp

もっと詳しい方のフォロー募集です アプリケーションがマルチスレッドになってもネットワーク処理が分散されなければマルチコアを活かせない典型的な例です。id:viverの古橋さんがs100kpsとしてあげていた件にも近いかも。 memcachedで現象を確認します。最近のmemcachedはマルチスレッドで動くようになっているので、まずはそれを確認します。 $ memcached-tool localhost stats|grep threads threads 4 スレッドが4つで起動しています。 負荷がそれなりにある状態(8000req/sec程度)で、コマンドラインでtopを開き、「1」キーを押して、CPUごとの使用率を表示します。(例はFedora8 kernel-2.6.23) Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0

[sugimori]

なるほど。CPUがマルチコアでもNWの割り込みが1CPUしか来ないなんてことがあるのか。。

[nekoruri]

この辺にイマドキなネットワークIOの話が載ってる。 http://www.vyatta-users.jp/usermeeting/jvug02/imadoki-net-io.pdf

[moccos_info]

ダメな例のチップセット(割り込みまわり？)が古いのが原因という可能性も

[tote102]

top 1

[toton]

「ネットワークの割り込み処理を複数のCPUに分散する。NICのRX/TX Multiple Queue」

[masterq]

割り込み処理のCPU分散について。

[monjudoh]

これ非対応だと駄目らしい『マルチコアCPUの性能を活かすために考えられることは、ネットワークの割り込み処理を複数のCPUに分散することだと思うのですが、最新のNICにはRX/TX Multiple Queue～機能が備わっています。』

[paella]

アプリがマルチスレッドになってもネットワーク処理が分散されなければマルチコアを活かせない典型的な例、という話。CPU-OS-プログラムのトータルで並列処理への対応度が高くないと、必ずどこかがボトルネックに

[zorio]

「複数のCPUに分散できない処理がボトルネックになってくるので、最新のハードウェアとか対応しているカーネルを利用しよう」

[suginoy]

「memcachedの通信は主にeth1で行われるのですが、このeth1に関する割り込み処理がCPU1でしか行われていません。」

[ohnishiakira]

"memcachedの通信は主にeth1で行われるのですが、このeth1に関する割り込み処理がCPU1でしか行われていません。ソフトウェア割り込みはハードウェア割り込みが行われたCPUでしか行われないのもこの傾向を強めます。"

[sh2]

Oracleで同じ挙動見たことあります。Dunnington 6コア×4プロセッサのサーバ / Multiqueue Networking。David S. Millerのスライド参照 http://linuxplumbersconf.org/2009/program/

[kazeburo]

Blog書いた

[kamipo]

最新のNIC(Broadcom BCM5709)にはRX/TX Multiple Queue(正式名称がわからない。Receive Side ScalingとかScalable I/O？)機能が備わっているらしい。

[yujiorama]

nic の割り込み処理が CPU コアを占有してしまうという…

[kazuhooku]

irqbalance がオンでこうだとすると、naoyaさんが以前書いてたのと同じで CPU 負荷が低いうちは特定の CPU に割り振ってるだけ、とかだったりして / だとしてもキューがひとつだと限界値がコアあたりの性能になるのはかわらな

[syuu1228]

こういうの、OpenBSDでも出来ると良いんだけどなぁ…当分むりぽ。RT @frsyuki: ぉぉBCM5709 だと分散する！ハードウェアの問題だったのかな #s100kps RT @kazeburo: Blog書いた