Kvm performance optimization for ubuntu
This document discusses various techniques for optimizing KVM performance on Linux systems. It covers CPU and memory optimization through techniques like vCPU pinning, NUMA affinity, transparent huge pages, KSM, and virtio_balloon. For networking, it discusses vhost-net, interrupt handling using MSI/MSI-X, and NAPI. It also covers block device optimization through I/O scheduling, cache mode, and a
Linux packet-forwarding
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Linux カーネルと FreeBSD カーネルの割り込み処理
わけあって、 Linux カーネルと FreeBSD カーネルの双方で仕事をした結果、 二つのカーネルで割り込み処理の実装方法が大きく異なっていることに気づきました。 ここでは、それぞれの割り込み処理の仕組みについて、 調べたことを書いてみたいと思います。 割り込みとは、主に入出力ハードウェアによって CPU に送られる処理要求のことです。 一般に、 CPU は入出力ハードウェアよりもずっと高速に動作するので、 入出力処理を行う際に、ハードウェアの動作を待つよりも、 CPU では別の処理を行なっておき、 必要になった時にハードウェア側からの通知を受けて対応する処理を行う方が、 CPU を有効に活用できます。この入出力ハードウェア側からの通知が、割り込みと呼ばれます。 割り込みは、 CPU で動作するカーネルによって処理されることとなります。 ここで、一つの割り込み処理に時間がかかると、他の
Linuxのしくみを学ぶ - プロセス管理とスケジューリング
「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」公開ページ こちらのページはSoftware Design誌 2009年12月号の記事「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」の公開ページです。 「ハイパーバイザの作り方」も公開中ですので、こちらも是非ご覧ください。 公開中の記事 HTML PDF ePub mobi Kindle 原稿データ 全ての原稿データはgithub上で公開されています。 Pull RequestやIssuesを通じて文章の誤り訂正や解説の追記、各フォーマットの表示の改善などのコントリビューションを受け付けています。 改善された記事は随時このページにアップロードしていきます。 記事に関するご質問 記事を読んで何かわからなかった点があったり、疑問に思ったことがあれば以下の連絡先に問い合わせてください。 Twitter: @syuu
Understanding TCP/IP Network Stack & Writing Network Apps | CUBRID blog
What We Write Understanding TCP/IP Network Stack & Writing Network Apps We cannot imagine Internet service without TCP/IP. All Internet services we have developed and used at NHN are based on a solid basis, TCP/IP. Understanding how data is transferred via the network will help you to improve performance through tuning, troubleshooting, or introduction to a new technology. This article will descri
割り込みをつかう
なんらかのI/Oボードのデバイスドライバを作ろうと思ったとき、割り込みを使いたいことはよくあります。 ある程度遅いデバイスならポーリングをつかって、処理すればいいかと思いますが、それですと、最低間隔はLinuxのタイマ割り込み(標準 10ミリ秒)になってしまいます。 やっぱり、割り込みは便利です。 MS-DOSなどで割り込みを使った方がいらっしゃるかと思いますが、Linux の場合、あれより遥かに簡単です。 割り込みコントローラの処理などは全部 Linux がやってくれて、ドライバ側ですることは「この関数を呼んでください」と登録するだけです。 さらに、Linux では「割り込みの共有」がちゃんとできるので、拡張ボードを挿したら割り込みがたらなくなった、ということもありません(もちろん、独占欲の強いデバイスもありますが....)。 ここでは まずは、ちょっと不安ですが分かりやすい簡単な例で割
割り込み処理 - Linuxカーネルメモ
ハードウェア割り込みに関するメモ。 割り込みハンドラの登録割り込みハンドラはirq_desc[]に登録されている。デバイスドライバなどが割り込みハンドラを登録する場合はrequest_irq()で登録する。 irq_descの構造を図1に示す。 各IRQ毎のirq_desc構造体が並んでいる。actionリストに、request_irq()で登録した割り込みハンドラを管理する構造体(irq_action)がチェーンされる。基本的には１つのIRQに１つのハンドラだが、SA_SHIRQを付けて登録することで１つのIRQに複数のハンドラを登録することができる。この場合は、irq_actionがnextチェーンされる。もちろん、デバイスドライバなどの処理が割り込みを共有できる作りになっていないといけない。 irq_descのhandlerには割り込みコントローラ依存のハンドラが登録されている。ここ
スレッドとプロセス
スレッドとプロセス 本題: スケジューリング 田浦健次朗 スレッドとは? 制御の流れ(thread of control): CPUを抽象 化したもの • OSに「スレッドを作りたい」と要求 • OSはスレッドにCPUを割り当て，実行 • スレッドは「たくさんあってよい」 • OSが交互に実行 • CPUが複数あれば各CPU上で プロセスとは? プログラムの起動 プロセス の生成 論理アドレス空間の生成 +mainスレッドの生成 プロセス=アドレス空間+(1つ 以上の)スレッド 実践的知識 システム内のプロセス・スレッドの観察 • Windows : タスクマネージャ, perfmon • Linux : ps, top スレッド・プロセス関係API 共通な主要概念 • 生成，終了 • 同期，実行の制御 代表的スレッドAPI名 • Unix: POSIX
送受信 - Linuxカーネルメモ
1. 受信処理 1.1 従来の受信処理 ネットワークインタフェースで受信したパケットは、デバイスドライバのH/W割り込み処理処理で刈り取られる。デバイスドライバは受信したパケットをカーネルの受信キューに積み、ソフトウェア割り込みを発生させる。 受信ソフトウェア割り込みのハンドラは、受信キューに積まれているパケットを取りだし該当プロトコルの受信ハンドラを呼び出す。 デバイスドライバの受信処理が受信キューにパケットを積むだけで、受信処理のメインはソフトウェア割り込み処理で実装しているのは、H/W割り込みの処理を極力短くしてシステムのレスポンスを向上させるため。 受信処理の流れを図1に示す。 1. 従来の受信処理ではデバイスドライバがネットワーク層にパケットを渡す際、netif_rx()を使用する。 2. ソフトウェア割込みを発生させる際、poll_listには仮想的なnet_device(ba
第6回 割り込み管理
コンピュータにとって，プロセッサ内部での演算処理と同様に重要なのが入出力処理です。処理に必要なデータを入力したり，処理結果を出力できないようでは，演算処理ができても意味がありません。また，コンピュータに接続されているさまざまな周辺機器の制御も，入出力処理を通じて行われています。 この入出力処理において重要な役割を果たすのがプロセッサの「割り込み」機能です。今回は，この割り込みとはどのような機能なのか，またその割り込みをカーネルがどのように利用するのかを解説します。 割り込みとは プロセッサは，決められた命令を順番に実行していくように作られています。初期のコンピュータは，実行する命令を入力し，それをプロセッサに実行させ，その結果を受け取るという決められた流れ（バッチ処理）に沿って利用されていました。しかし，コンピュータの用途が多様化し，インタラクティブな動作が求められるようになると，このよう
Kernel/VM Advent Calendar 25日目 最近のPCアーキテクチャにおける割り込みルーティングの仕組み - syuu1228's blog
※追記：MSIはPCI 3.0からじゃなくてPCI 2.3からだとの指摘を受けて書き換え。 ※追記：hisakさんから詳しくコメントが入っているので、併せて読んで下さい。 とてつもなく遅れたKernel/VM Advent Calendarの25日目の記事です。 Linuxにおける/proc/irq//smp_affinityはハードウェアにどのような設定を行うことにより実現されているのか、或いは最近のPCアーキテクチャにおける割り込みの仕組みはどうなっているのか、という辺りが知りたかったので調べてみた。 結構こんがらがっているので、予想外に時間を食ってしまった…まだ調べ尽くせていないが、分からない事はTODOとして一旦現時点での理解を書いておこうと思う。 前提条件 2つ以上のCPUコアを持つ、Core2世代或いはCore iシリーズ世代のIntel CPU／チップセット 割り込みを行う主
Diving into the Linux Networking Stack, Part I | Beyond Syntax | Michael J. Schultz
This is the first part of a (planned) multi-part series on receiving a network packet on a modern Linux kernel. Have you ever wondered what happens when your Linux machine gets a packet from the network? I have, but most of the information I've seen is concerned with the 2.4.x kernel. For my own sake, I decided to take a walk through the Linux networking stack (using Linux kernel 2.6.37) and thoug
RSS対応NICなのに割り込み処理が複数コアに分散しない…のはirqbalanceが動いてなかったから - 酒日記 はてな支店
タイトルがすべてでございます。 NICの割り込み処理が1コアに集中してしまい、ボトルネックになって性能が出ない場合があるという話は最近広く知られていると思います。 NICのハードウェアレベルで割り込みを分散してくれる RSS(Receive Side Scaling) という仕組みがあり、それを利用すれば特になにもしなくても複数コアに分散されるはず、と思っていたのですが、どうも特定のマシンでそうならない。 # cat /proc/interrupts CPU0 CPU1 CPU2 (省略) CPU11 64: 1256214 0 0 ... 0 IR-PCI-MSI-edge eth1-0 65: 225711 0 0 0 IR-PCI-MSI-edge eth1-1 66: 402906 0 0 0 IR-PCI-MSI-edge eth1-2 67: 723539 0 0 0 IR-P
Re: CentOS5でもRPS/RFSでNICが捗る話 - まいんだーのはてなブログ
id:studio-m (nekoyaさん)にblogエントリで先を越されたけど自分はちょっと使い所と事情が異なっていそうだったのでそれを書いておきたく!! 0. RPS/RFS の利用 CentOS5 系でのやり方は nekoyaさんのエントリ を見てください。 CentOS6 系でのやり方は kazeburoさんのエントリ を見てください。 自分はkernel 2.6.39で試しましたが問題なく動作しました。 1. RPS/RFSの利用を迫られた背景 nekoya さんは app サーバの所でネットワーク問題が起こっていたようですが、自分の場合 LVS と outbound のトラフィックをさばいているLinuxルータで厳しいことになってきておりました。 この時発生する具体的な症状として LoadAverage が 1 で張り付いて応答が極端に悪くなる というものがあります。 これをど
vyatta-users.jp - このウェブサイトは販売用です！ - vyatta users リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
2.3 ハードウェア割り込み処理 - Linux Kernel Documents Wiki - Linux Kernel Documents - OSDN
トップページへ Linuxカーネルに関する技術情報を集めていくプロジェクトです。現在、Linuxカーネル2.6解読室の第2章までを公開中。 目次まえがき第0章 Linuxカーネルの構成要素 0.1 Linuxカーネルとは 0.2 Linuxカーネルのソースコード 0.3 Linuxカーネル機能の概要 0.4 カーネルプリミティブ 0.5 プロセス管理 0.6 メモリ管理 0.7 ファイルシステム 0.8 ネットワーク 0.9 プロセス間通信 0.10 Linuxカーネルの起動 0.11 Linuxカーネルの動作例 Part 1 カーネルプリミティブ第1章 プロセススケジューリング 1.1 マルチタスク 1.2 プロセスとは？ 1.3 プロセス切り替え 1.4 プロセスディスパッチャの実装 1.5 プロセススケジューラ 1.6 プロセススケジューラの実装 1.7 事象の待ち合わせ 1.8 最
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
lanceshelton/irqstat · GitHub - A better way to watch /proc/interrupts, designed for NUMA systems with many processors.
api.satoru.net
Interrupt Coalescence - eduPERT KB - GÉANT federated confluence
IO CPU Affinity - RTwiki