Kvm performance optimization for ubuntu
This document discusses various techniques for optimizing KVM performance on Linux systems. It covers CPU and memory optimization through techniques like vCPU pinning, NUMA affinity, transparent huge pages, KSM, and virtio_balloon. For networking, it discusses vhost-net, interrupt handling using MSI/MSI-X, and NAPI. It also covers block device optimization through I/O scheduling, cache mode, and a
Linux カーネルと FreeBSD カーネルの割り込み処理
わけあって、 Linux カーネルと FreeBSD カーネルの双方で仕事をした結果、 二つのカーネルで割り込み処理の実装方法が大きく異なっていることに気づきました。 ここでは、それぞれの割り込み処理の仕組みについて、 調べたことを書いてみたいと思います。 割り込みとは、主に入出力ハードウェアによって CPU に送られる処理要求のことです。 一般に、 CPU は入出力ハードウェアよりもずっと高速に動作するので、 入出力処理を行う際に、ハードウェアの動作を待つよりも、 CPU では別の処理を行なっておき、 必要になった時にハードウェア側からの通知を受けて対応する処理を行う方が、 CPU を有効に活用できます。この入出力ハードウェア側からの通知が、割り込みと呼ばれます。 割り込みは、 CPU で動作するカーネルによって処理されることとなります。 ここで、一つの割り込み処理に時間がかかると、他の
Comprehensive Overview of Storage Scalability in Docker
Try Red Hat products and technologies without setup or configuration fees for 30 days with this shared Openshift and Kubernetes cluster.
/proc/cpuinfoを目で読むのがつらい
最近のコンピュータだとCPUのコア数やスレッド数が多いので/proc/cpuinfoを直接読むよりまとめて出力してくれるlscpuやhwlocをつかったほうがよい。 最近コア数とか多いですね。デスクトップでもCore i7だと8スレッドとかありますしサーバだと4ソケット40コア80スレッドとかあります。 CPUがどういう構成なのか知りたい時は /proc/cpuinfo や /sys/devices/system/cpu/* を読むことが多いですが表示が冗長なのでつらいです。そこで適当にまとめて表示してくれるコマンドが便利です。 lscpuはCPUのキャッシュ構成とか、ソケット-コア-スレッドの個数の関係がわかります。実機で数回実行するとわかりますがCPU MHzのところは実際の周波数にあわせてちょいちょい変わるのでアテになりません。 出力はこんなかんじ: $ lscpu Archite
iowait について - ablog
iowait の時間って、I/O要求を出しているプロセスは Disk Sleep しているという理解でいいんだろうか。 ちょっとわからなくなってきた。 linux-2.6/kernel/sched.c /* * Account for idle time. * @cputime: the cpu time spent in idle wait */ void account_idle_time(cputime_t cputime) { struct cpu_usage_stat *cpustat = &kstat_this_cpu.cpustat; cputime64_t cputime64 = cputime_to_cputime64(cputime); struct rq *rq = this_rq(); if (atomic_read(&rq->nr_iowait) > 0) cpu
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
ハードウェア乱数生成器は信頼できるか
How secure is Linux's random number generator? | Hacker News Hacker Newsで話題になっていたので。 主に暗号用途には、予測不可能な乱数が必要となる。予測不可能というのは、実装と内部状態が知られていても、なお将来の乱数が予測できないということだ。 たとえば、擬似乱数としてよく使われる線形合同法(Linear congruential generator)は、以下のように書ける。 namespace lcg { thread_local unsigned int seed ; void srand( unsigned int seed ) { lcg::seed = seed ; } int rand( void ) { // glibcの使っている値を拝借 seed = (1103515245 * seed + 12345
STREAMの使用方法 （Linuxメモリ帯域幅の計測方法）
メモリのバンド幅を計測するベンチマークツール「STREAM」を用いて、Linuxサーバの実効メモリ帯域幅（メモリバンド幅）・メモリ性能を計測する際の手順メモです。コンパイラはgccを使用しています。 「STREAM」は、簡単な手順でLinuxサーバやUNIXサーバの実効メモリ帯域幅・メモリ性能を計測できる優れたベンチマークツールです。ソースコードはOpenMPにも対応しており、OpenMPに対応したコンパイラを使用すれば、マルチスレッドで並列実行してメモリの限界性能を探ることもできます。 STREAM インストールソースのダウンロード URL次のURLからリンクされている「Source Code Directory」を参照して、同ページからCのソースファイル（stream.c）をダウンロードして下さい。 http://www.cs.virginia.edu/stream/ ディレクトリの作
Open Hardware Monitor - Core temp, fan speed and voltages in a free software gadget
The Open Hardware Monitor is a free open source software that monitors temperature sensors, fan speeds, voltages, load and clock speeds of a computer. The Open Hardware Monitor supports most hardware monitoring chips found on todays mainboards. The CPU temperature can be monitored by reading the core temperature sensors of Intel and AMD processors. The sensors of ATI and Nvidia video cards as well
おそらくはそれさえも平凡な日々: サーバーマシンのコア数に応じてworker数を調整する方法
PSGI/Plackアプリケーションの起動方法いろいろと本番環境アレコレ 便乗ポスト。最近は、上記内の「シェルスクリプトでラップする方法」で運用していることが多いです。その場合のone more tips. appサーバーごとにマシンスペックが違う場合がたまにあって、その場合マシンごとに worker数を調整したいけど、deployの都合上サーバー起動スクリプトは同じやつを使いた いってことがあります。 そこでおすすめなのが、CPUコア数に応じてworker数を計算する方法です。 シェルスクリプトの場合、 % cat app.sh #/bin/sh NCPU=`getconf _NPROCESSORS_ONLN` WORKERS=$(expr $NCPU \* 5) exec plackup -E production -s Starlet --max-workers=$WORKERS と
The Secret to 10 Million Concurrent Connections -The Kernel is the Problem, Not the Solution - High Scalability -
Now that we have the C10K concurrent connection problem licked, how do we level up and support 10 million concurrent connections? Impossible you say. Nope, systems right now are delivering 10 million concurrent connections using techniques that are as radical as they may be unfamiliar. To learn how it’s done we turn to Robert Graham, CEO of Errata Security, and his absolutely fantastic talk at Shm
Linux Performance Analysis and Tools
Video: http://joyent.com/blog/linux-performance-analysis-and-tools-brendan-gregg-s-talk-at-scale-11x ; This talk for SCaLE11x covers system performance analysis methodologies and the Linux tools to support them, so that you can get the most out of your systems and solve performance issues quickly. This includes a wide variety of tools, including basics like top(1), advanced tools like perf, and ne
What every programmer should know about memory, Part 1
What every programmer should know about memory, Part 1 [Editor's introduction: Ulrich Drepper recently approached us asking if we would be interested in publishing a lengthy document he had written on how memory and software interact. We did not have to look at the text for long to realize that it would be of interest to many LWN readers. Memory usage is often the determining factor in how softwar
[Prog] C 言語のヌルポインタ(NULL pointer) の意味について - NAKAMURA Minoru's Diary
2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1
Data Center
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
KVMのためのlinux kernel入門
Statistics Favorites 1 Downloads 0 Comments 0 Embed Views 0 Views on SlideShare 333 Total Views 333 仮想環境では、ゲスト OS が「物理的なメモリだ」と思っている仮想物理アドレスは、実際の物理アドレスではありません。そのため、ゲスト OS がメンテナンスしているページテーブルを直接 CPU が参照すると本来アクセスしたかったメモリとは違う箇所へアクセスすることになります。 そのため、仮想物理アドレスから物理アドレスへの変換表を管理しているハイパーバイザが「 shadow page table 」と呼ばれるページテーブルを用意します。ゲスト OS が管理するページテーブルを監視し、更新があれば影のようについていく、というところからこのような名前になっています。「 CR3 」レジスタの変更もハイ
第6回 割り込み管理
コンピュータにとって，プロセッサ内部での演算処理と同様に重要なのが入出力処理です。処理に必要なデータを入力したり，処理結果を出力できないようでは，演算処理ができても意味がありません。また，コンピュータに接続されているさまざまな周辺機器の制御も，入出力処理を通じて行われています。 この入出力処理において重要な役割を果たすのがプロセッサの「割り込み」機能です。今回は，この割り込みとはどのような機能なのか，またその割り込みをカーネルがどのように利用するのかを解説します。 割り込みとは プロセッサは，決められた命令を順番に実行していくように作られています。初期のコンピュータは，実行する命令を入力し，それをプロセッサに実行させ，その結果を受け取るという決められた流れ（バッチ処理）に沿って利用されていました。しかし，コンピュータの用途が多様化し，インタラクティブな動作が求められるようになると，このよう
Kernel/VM Advent Calendar 25日目 最近のPCアーキテクチャにおける割り込みルーティングの仕組み - syuu1228's blog
※追記：MSIはPCI 3.0からじゃなくてPCI 2.3からだとの指摘を受けて書き換え。 ※追記：hisakさんから詳しくコメントが入っているので、併せて読んで下さい。 とてつもなく遅れたKernel/VM Advent Calendarの25日目の記事です。 Linuxにおける/proc/irq//smp_affinityはハードウェアにどのような設定を行うことにより実現されているのか、或いは最近のPCアーキテクチャにおける割り込みの仕組みはどうなっているのか、という辺りが知りたかったので調べてみた。 結構こんがらがっているので、予想外に時間を食ってしまった…まだ調べ尽くせていないが、分からない事はTODOとして一旦現時点での理解を書いておこうと思う。 前提条件 2つ以上のCPUコアを持つ、Core2世代或いはCore iシリーズ世代のIntel CPU／チップセット 割り込みを行う主
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux女子会 - お仕事メリハリ術♪(プロセススケジューラ編）
api.satoru.net