Linux Performance
static, benchmarking, tuning: sar, perf-tools, bcc/BPF: bpftrace, BPF book: Images license: creative commons Attribution-ShareAlike 4.0. This page links to various Linux performance material I've created, including the tools maps on the right. These use a large font size to suit slide decks. You can also print them out for your office wall. They show: Linux observability tools, Linux static perfor
「net.ipv4.tcp_tw_recycle」を有効にするのは（場合によっては）やめた方がいい - pullphone's blog
そもそも「tcp_tw_recycle」ってなに？ TIME_WAIT状態のソケット*1を高速に再利用するためのLinuxカーネル特有の仕組みらしい。 「/etc/sysctl.conf」でこいつ（net.ipv4.tcp_tw_recycle）を1にしてやって「sysctl -p」するだけで有効になります。 「TIME_WAITのソケットを少なくしてくれるんでしょ？いいじゃん！」という感じで設定してしまいそうになりますが・・・ なんでダメなの？ 結論から言うと、こいつを有効にしたとき、同じグローバルIPのクライアントからの接続でかつTCPパケットにタイムスタンプ情報が入っている場合で、ほぼ同時にパケットを送ると、古いタイムスタンプの方のパケットを勝手にドロップしちゃいます。 どういうことなの・・・ 「tcp_tw_recycle」は、「同一IPからのパケットが到着したとき、使っていたソケ
kSarでsysstat(sar)をグラフ化したのはいいのだが、読めないので解読してみる - 基本へ帰ろう
kSar http://ksar.atomique.net/index.html kSarのグラフ化について kSarによるsarのグラフ化について | Miracle Linux Support KSarでsysstatのグラフ化 - shibainu55日記 HugeDomains.com - Shop for over 300,000 Premium Domains グラフ化については、上記がわかりやすいかと思います。 sarのcronは以下のように設定しています。 [root@web ~]# cat /etc/cron.d/sysstat # run system activity accounting tool every 10 minutes */10 * * * * root /usr/lib/sa/sa1 1 1 # generate a daily summary of
Linux の iostat の出力結果を銀行のATMに例えて説明してみる - ablog
vmstat の"r"列とマクドナルドのレジカウンター - ablog の iostat 版です。 以前、iostat の見方 - ablog というエントリを書きましたが、 絵で見てわかるOS/ストレージ/ネットワーク~データベースはこう使っている (DB Magazine Selection) 作者: 小田圭二出版社/メーカー: 翔泳社発売日: 2008/04/22メディア: 単行本（ソフトカバー）購入: 22人 クリック: 303回この商品を含むブログ (36件) を見るP.176 LIST 1 Linuxのiostat -x 30の出力結果を分析 を元に説明してみます。 $ iostat -x 30 avg-cpu: %user %nice %sys %iowait %idle 15.46 0.23 3.70 45.05 35.55 Device: rrqm/s wrqm/s r/
メモリを食いまくるプロセスがメモリ使用量に与える影響をtopで追う
暴走してどんどんメモリを食うスクリプトが OS全体のメモリ使用量(CentOS5 ... カーネルは2.6系になる)の動作にどんな影響を与えるのか ってのを見るために以下のようなテストをしてみました。仕組みはだいたい理解してるけど、細かい数値を追ったことはなかったのでやってみました。 sshでログインして、topを立ち上げる。プロセスを見張る用意をしておく 別のsshをたちあげて、 Perlワンライナーで以下のようなプロセスを走らせる(このプロセスをtopで見張る) # 1秒ごとに5MB単位でメモリを食うプロセス # 数値はお好みで perl -e "while(1){ sleep 1; push @h , 1 x 1024 x 1024 x 5 } " ちなみにtopで見張るときは メモリ使用量でソートされるようにして top起動中に shift + o を押して n を押すと 実メモリ
Linux - Disk の IOPS の確認！
mk-mode.com Linux, Debian, IT, Server, PG, Ruby, Rails, Python, C++, Fortran, PC, MariaDB, math, GIS, etc... 今回は、Linux OS でハードディスクが単位時間当たりどれくらい入出力要求をこなしているのか？を確認する方法についての備忘録です。 0. 前提条件 CPU と入出力装置の負荷を確認するための iostat コマンドを使用する。 Linux Mint や Debian 等はデフォルトではインストールされていないかもしれない。 その場合は、 apt-get install sysstat 等でインストールする。 1. IOPS について まず “IOPS” とは、記憶装置がある条件下で1秒間で読み込み・書き込みができる回数のことで、 “Input/Output Per Sec
topコマンドで覚えておきたい使い方14個 | 俺的備忘録 〜なんかいろいろ〜
topコマンドといえば、よくLinuxのパフォーマンス状態をモニタリングするために利用されているコマンドだ。 今回は、そんなtopコマンドで覚えておきたい使い方14個を紹介する。 なお、検証で使用したtopコマンドはCentOS 7 で利用している「procps-ng version 3.3.9」のものとなっている。 1.基本的な使い方 基本的には、オプション無しで以下のようにコマンドを実行する。 top top - 07:21:06 up 4 days, 17 min, 4 users, load average: 0.00, 0.00, 0.00 Tasks: 186 total, 1 running, 185 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0
マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー
ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。 http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分の間の実行待ちプロセス数の平均数 = 実行したくても他のプロセスが実行中で実行できないプロセスが平均で何個ぐらい存在してるか」を示す値です。ボトルネックが CPU、メモリ、ディスク等々どこにあるかは関係なく、仕事の実行までにどれぐらい待たされているかを示す値なので、システムのスループットを計測する指標の入り口になる値です。 このロードアベレージですが、実装を見るとランキュー(待ち行列)に溜まった
ext4 ファイルシステムのオーバーヘッドを厳密に理解する - とあるSIerの憂鬱
ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab
パフォーマンスチューニングガイド
Red Hat Enterprise Linux 6 パフォーマンスチューニングガイド Red Hat Enterprise Linux 6 におけるサブシステムのスループットを最適化 エディッション 4.0 Last Updated: 2017-10-12 Red Hat Enterprise Linux 6 パフォーマンスチューニングガイド Red Hat Enterprise Linux 6 におけるサブシステムのスループットを最適化 エディッション 4.0 Red Hat Subject Matter Experts 編集者 Don Domingo Laura Bailey 法律上の通知 Copyright © 2011 Red Hat, Inc. and others. This document is licensed by Red Hat under the Creative
Fio Output Explained
Previously, I blogged about setting up my benchmarking machine. Now that it's up and running, I've started exploring the fio benchmarking tool. fio - the Flexible IO Tester is an application written by Jens Axboe, who may be better known as the maintainer of the Linux kernel's block IO subsystem. It resembles the older ffsb tool in a few ways, but doesn't seem to have any relation to it. As power
IO Accounting 機能で I/O 負荷の高いプロセスを特定
随分久々の Linux ネタです。以前にロードアベレージに関する考察などの記事も書きましたが、多くのサーバーサイドエンジニアはサーバ負荷と日々戦っていることかと思います。過去多くの場合、負荷の原因特定はおおよそ下記のような手順で分析をしていたことかと思います。※詳しい手順は別エントリとして記載予定。 top をみて上位に張り付いているプロセスを確認しつつ CPU or I/O のどちらが原因か判別 ps を使ってプロセスの状態を確認して(T),(D)の状態から CPU or I/O のどちらが原因か判別 vmstat で procs の r, b の数、swap の si, so の状態、I/O の bi, bo の状態を確認 iostat を使って disk の read/write の状態をさらに詳しく確認 sar を使って os の状態をさらに詳しく確認 おおよその原因特定から設定を
RAIDコントローラのキャッシュ構成 - とあるSIerの憂鬱
コントローラがもっているキャッシュは『コントローラ・キャッシュ』と呼ぶ。 コントローラ・キャッシュをライト・キャッシュとして使用する場合、電源断でキャッシュ内容が消失しないよう、バッテリを内蔵する。 バッテリが無い場合、バッテリの充電が十分でない場合はライト・キャッシュを使用しないライト・スルーに自動で切り替わる。 バッテリ動作の期間内にコントローラ・キャッシュの内容を保持するだけでなく、不揮発のフラッシュ・メモリに書き込むものもある。 リード・キャッシュは効果が少ないため、HPのコントローラではリード・キャッシュ25%、ライト・キャッシュ75%の比率がデフォルト。 コントローラ・キャッシュはRAIDのパリティ計算などコントローラの作業用メモリとしても使われる。 HDD自体が持っているキャッシュ(バッファ)は『ディスク・キャッシュ』と呼ぶ。 サーバ向けのHDDではディスク・キャッシュは通常
Disk I/O性能測定するときに活躍する道具たち - お菓子食べる部
この記事はﾋﾟｮｯｺﾘﾝアドベントカレンダーのために書かれたものです。 サマリ Disk(HDD/SSD/仮想ディスク等)のI/O性能を測定するのに 活躍するツールについて、簡単に使い方を説明する。 はじめに Diskに限定せずとも、性能測定と言えば、 おおまかには、スループット(Diskに関して言えば、1秒あたりどれくらいのI/Oを処理できるか？)と レイテンシ(Diskに関して言えば、1個のI/Oを処理するのにどれくらい時間がかかったか？) の2つについて見ることになる。 特にLinuxに関しては、このあたりをよく使うような気がする(主観)。 fio：Diskに対してI/Oを発行してくれて、スループットやレイテンシを算出してくれるもの。 iostat：Diskごとにスループットなどの情報をリアルタイムで見せてくれるもの blktrace：LinuxがDiskに対してどんなI/Oを出して
Linuxファイルシステム技術解説
XFSは、巨大ストレージでの利用を視野に入れた64bitファイルシステムである。膨大な領域を効率的に利用するため、XFSにはさまざまな仕組みが組み込まれている。（編集局）
マイクロソフト、オープンソースのJavaScriptエンジン「ChakraCore」をLinux版Node.jsに対応、「Node-ChakraCore on Linux」プレビュー版公開
マイクロソフト、オープンソースのJavaScriptエンジン「ChakraCore」をLinux版Node.jsに対応、「Node-ChakraCore on Linux」プレビュー版公開 マイクロソフトは、Microsoft EdgeやWindows 10で使われているJavaScriptエンジンのコア部分を「ChakraCore」をLinux対応にし、さらにNode.jsに対応させた「Node-ChakraCore on Linux」のファーストプレビュー版を公開しました。 ChakraCoreは2015年12月にオープンソース化され、WindowsだけでなくLinuxやmacOSへの移植が進められることが明言されていました。 さらに今年に入って2016年1月にはNode.jsのJavaScriptエンジンとして使われているV8の代わりにChakraCoreを使えるようにNode.js
Linuxシステムコール徹底ガイド | POSTD
要約 この記事では、LinuxカーネルにてLinuxプログラムがどのように関数を呼び出すのかについて紹介していきます。 システムコールを行う様々な方法、システムコールを行うための独自のアセンブリの作成方法（例あり）、システムコールへのカーネルエントリポイント、システムコールからのカーネルイグジットポイント、glibcのラッパ関数、バグなど多くの点について説明します。 要約 システムコールとは？ 必要条件に関する情報 ハードウェアとソフトウェア ユーザプログラム、カーネル、CPUの特権レベル 割り込み モデル固有レジスタ（MSR） アセンブリコードでシステムコールを呼び出すことの問題点 レガシーシステムコール 独自のアセンブリを用いたレガシーシステムコールの使用 カーネル側での int $0x80 エントリポイント iret を使用したレガシーシステムコールからの復帰 高速システムコール 3
【初心者向け基本解説】Linuxのウィルスとその対策方法
Linuxは基本的に「ウィルス」いわゆる、「マルウェア」に感染しにくいという話はよく聞く。 しかし、実際には完全に安全なOSなどというものはありえない。Linuxを使っていても気をつけた方がいいに決まっている。 このページではLinuxのウィルス対策の初歩の初歩をお伝えする。 Linuxとウィルス Linuxは基本的に「ウィルス」に感染しにくいと言われているのは、次の２つの理由からだ。 クライアントでの利用の場合Windowsとくらべシェア率が圧倒的に低いため狙われにくい パーミッションという概念のもと一般ユーザはシステムに書き込みができない、権限が厳格に管理されている。 しかしリスクが全くないというわけではない。実際、数は少ないが主にトロイの木馬が存在する。これらは脆弱性を放置したり、ユーザが意図しないうちにうっかりインストールしてしまった場合が多いだろう。 特にクロスプラットホームなア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://syuu1228.github.io/process_management_and_process_schedule/process_management_and_process_schedule.pdf
Linuxプロセスの起動時刻を調べる方法 - Qiita
