Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
NVIDIA Networking Solutions
One-third of the 30 million data center servers shipped every year are consumed by the software-defined data center stack. To support heavy data center workloads, enterprises need to modernize their network infrastructure and evolve to keep up with the exponential demand for data processing. NVIDIA offers InfiniBand- and Ethernet-accelerated networking solutions, providing enterprises with the inf
SolarisのネットワークスタックってSMPに強いのん？ - syuu1228's blog
「SolarisのネットワークスタックはSMPに強い」という噂を聞いていたので、取り敢えずどんな感じなのか資料を斜め読みしてみた。 Solarisとか全ッ然知らないので、間違ってたらツッコミ下さい。 資料： Oracle and Sun Microsystems | Strategic Acquisitions | Oracle OpenSolaris 最新動向とプロジェクト Crossbow の威力 1990年代後半以降、サーバーは、多数の CPU を実行する SMP ベースになった ミッドエンドマシンからハイエンドマシンが NUMA 主体となったため、CPU の切り替え処理のコストが高くなった 従来のSolarisのTCP/IPスタックの問題点 設計上 CPU と密接に関係していないため、特定の接続のパケットがさまざまな CPU の間を移動してしまう マルチスレッドには対応している
じゃあ、Linuxのネットワークスタックはどうなのん？ - syuu1228's blog
この記事の続きになる訳だが、いくらSolaris最強って言っても、大手メーカーがこぞってつつき回して性能改善したり機能追加したりしてるはずのLinuxで何も対策が打たれてない訳が無いよね。じゃあどうなってるんだろう、って話。 例によって、Linuxとか全ッ然知らないので、間違ってたらツッコミ下さい。 ポーリングとパケット処理のパス 殆どここで解説し尽くされてる。 Linuxにも動的ポーリングの実装（Solarisで言ってる動的ポーリングと同じものとは限らないが…）があって、NAPIとか呼ばれてるらしい。 NAPIを実装するドライバでは、こんな手順で受信処理を行ってる。 ハードウェア割り込みを受け、割り込みハンドラを起動 ハードウェア割り込みを禁止、ポーリングをスケジュール ソフトウェア割り込み経由でNAPIのポーリングルーチンを起動 ドライバにポーリングを指示 この時、適切な性能を確保する
kommy の備忘録 : Occam 再び
日経エレクトロニクス9/6号によると Communicating Sequential Processes が一部で熱いらしい。知らなかったが、CSP自体は Transputer 向けの Occam 言語の基になっているとのこと。 そもそも XMOS という名前でもしやと思ったが、案の定、Inmosの流れを汲んでいるとは。 マルチコアだからといって、Transputerが復活することはないと思うが、Occamの復権はありえますね。 Transputerの遺産といえばIEEE1394で使われた DS-Linkを思い出します。
3D映画「AVATAR」、スクリーンの裏には大規模データとの戦いがあった
3D映画として上映され話題になっている映画「AVATAR」（アバター）ですが、その制作過程では大量のデータ処理との戦いがあったことを海外の複数のメディアが報じています。 毎週のようにテラバイト級のデータが生成 AVATARは、カリフォルニアにあるLightStorm Entertainmentが制作しましたが、そこで3Dカメラの動画から生成される大量のデータは、ニュージーランドにあるWeta Digitalに転送されコンピュータグラフィックスの処理が行われたと、The Registerの記事「The Avatar storage effect」が報じています。 LightStorm Entertainmentが使用していたストレージはアイシロン・システムズのもの。アイシロンはこの件で「Lightstorm Entertainment Uses Isilon IQ to Power Prod
並列処理時代の演算の一意性 - potasiumchの日記
足し算の答えが一意に決まるなんて昔話になるかも、というお話。 確認した範囲では、MATLAB 7.8 (2009a, 64bit) に足し算をさせる（たとえばサイズが500,000x1の行列の各要素を全部足す）と、その答えは一意に決まらない。全く同一のデータについて同じPC・環境で繰り返し計算させて、ほぼ毎回違う答えが返ってくる。 これについてMathWorks社（の少なくとも一社員）の見解が書かれているページを見つけた。 Comparing Single-threaded vs. Multithreaded Floating Point Calculations Loren on the Art of MATLAB December 4th, 2009 彼女の見解を要約すると、 浮動小数点数を用いた演算において、足し算は結合法則を満たさない（ a+(b+c) ≠ (a+b)+c ）。 演
GoogleはなぜAndroidやChrome OSを無料で配布するのか？
先週「Androidと家電」というタイトルで講演をさせていただいた私だが、そのプレゼンのキーポイントは、「なぜGoogleはAndroidを無料で配布するのか？」。それを私なりに説明するための資料として作ったスライドが以下の二枚。 まずこれは、MicrosoftとIntelがパソコン・ビジネスを育てるためにした「コモディティ戦略」を図式化したもの。IntelとMicrosoftで協力してCPUとOSを部品化・規格化することにより、誰でもパソコンを作れる様にしたのがそれ。これにより、パソコン・ビジネスへの参入障壁が減り、パソコン・メーカーが乱立。差別化がしにくい部分（つまりIntelとMicrosoftがほぼ独占的に提供するCPUとOS以外の部分）で激しいコスト競争が起こり、パソコンのコモディティ化が一気に進んだのは皆さんの記憶にも新しいはず。 特筆すべきなのは、MicrosoftもInte
Lock-Step: CPU に異常が起きても止まらないシステム: uyota 匠の一手
Stratus 機を語るのに、ハードウェアを避けては通れない。無停止は二重化されたハードウェアによって支えられている。全ての部品は二重化され、常にお互いの結果を点検する。 電源を二重化するのは簡単だ。ハードウェアベンダであれば、造作もないことであろう。しかし、CPU の計算結果を全て比べるとなると、そう単純にはいかない。 Stratus 機では、複数の物理 CPU が一つの論理 CPU を構成する。Continuum は一つの論理 CPU は四つの物理 CPU で出来ている。CPU は動作時でも脱着可能なように、ドータボード上に設置されている。そして、そのドータボードが必ず二つずつ対になって動作する。対になっているドータボードには、また、二つずつの CPU が対になっている。全ての CPU には全く同じ命令が、完全に同時に実行される。まず、同じドータボード上で対になって動いている CPU
個人用電卓のプログラミング
今年の3月頃にこのブログに投稿した, 電卓HHCのプログラミングの話題の続きである. この電卓のシミュレータには, スタックが2個あり, その間でデータが受け渡せる. このスタックを, 両方へ延びるテープ, 命令UとNをヘッドの右, 左への移動と思うと, 2スタックモデルはTuring Machineに非常によく似てくる. そこで今回は, Turing Machineをシミュレートしてみた. Turingの1936年の有名な論文の始めの方に, テープに0010110111011110...を書く例がある. つまり, 0の列の間に1を0個, 1個, 2個, 3個, ...と挟むのである. この論文のテープは, 計算結果を書くますと, 作業用の記号を書くますが, 交互に並んでいる. 従って, 上の出力も,テープ全体で見ると, bを空白のますとして, 0b0b1b0b1b1b0b1b1b1b0b
64ビットCPU(AMD64+EM64T)でアセンブラ
仮想化技術の考察 x86系CPUの仮想化技術を読み解いてみます。 仮想化とは、ひとつのマシン(CPU、メモリ、ディスク他を備えたPC)上に複数の(仮想的な)マシンを 作ることです。それぞれのマシンはCPU、メモリなどを備えた、れっきとしたPCです。 ただ複数のマシンがあるように見えても実際には(物理的には)ひとつのマシンしか存在しないところが、仮想化たる所以です。 x86系CPUの仮想化では、インテルの「Intel Virtualization Technology」 (以下、VTと略。x86(IA-32)用VTの旧コードネームはVanderpool Technology、Itanium(IA-64)用VTの旧コードネームはSilverdale Technology)と AMDの「Pacifica」がありますが、とりあえず本稿執筆時に仕様書が公開されている VTについて考えます。(Paci
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
如何在TILEPro64多核心板卡上编译和运行Erlang | 系统技术非业余研究
Lec 1 | MIT 6.189 Multicore Programming Primer, IAP 2007
The MySQL “swap insanity” problem and the effects of the NUMA architecture
Android徹底解説---内部構造，移植，開発
http://botchyworld.iinaa.net/cpu.htm
Heliosは、異種環境を扱うためにサテライトカーネルを使用
Secure Xen ARM Release Announcement | Xen Project Blog
Intel Core i3 and i5-750/s will not have VT-d technology – virtualization.info
Goldfish Emulator Platform – Run Android on QEMU | Xen Project Blog