curlでボトルネック調査をする - 256bitの殺人メニュー
ますだっくすさんが curlのエントリ書いてたのでおいらも1つだけ追記しませう。 Webサイトのボトルネック調査 あるサイトでアクセスが遅いなぁ、って話になったときにまず当たりをつけるために遅い部分を調べたい。 って時のcurlの使い方。 実際の手順 基本的には、前述のますだっく（@masudak）さんの、「その3. レスポンスの出力を加工する」であるのですが、詳細な項目を設定することで問題の切り分けにも使用できます。 出力フォーマット用のファイル。 cat <<'EOF' >/tmp/curl_env.txt url_effective\t\t: %{url_effective}\n http_code\t\t: %{http_code}\n http_connect\t\t: %{http_connect}\n time_total\t\t: %{time_total}\n time_
ファイルオープン数が上限値に達した|ざる魂
$ ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 114688 max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (secon
ファイルディスクリプタ数の上限変更とlimits.confの罠 | −ゆめログ− | ゆめみスタッフブログ
本記事は、2010年7月に「YUMELOG」に掲載された記事です。 2021年12月末「YUMELOG」終了に伴い、移行いたしました。 （「YUMELOG」をこれまでご愛顧いただき、誠にありがとうございました。） こんにちは、mikkoです。 今回は、1プロセスが同時オープン可能なファイルディスクリプタ数の上限を変更する方法と、その際の落とし穴についてです。 Linuxでは、同時にオープンできるファイルディスクリプタ数が制限されています。 OS全体での設定は、/proc/sys/fs/file-max等で確認でき、大規模なアクセスがあるサーバでは/etc/sysctl.confに設定を追加して上限を増やしているケースも多いでしょう。 これとは別に、1プロセスが同時オープン可能なファイルディスクリプタ数は、標準で1024となっています。 apacheのpreforkモデル等の子プロセスが多数
csshXが素晴らしすぎる件
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 複数のホストに対して、同時にコマンドを実行するツールはpssh等いくつかあると思うのですが、もっと自由度高く、viで編集したり、さらにはsshでログインしている状態でやれるような作業を全部同時にやりたいと思っていました。 そんな都合の良いツールはなかなかなくて、会社の人がLinuxでCluster SSHを使っていて、Linux限定かぁと諦めていたところ、なんとMacで使えるcluster SSHのcsshXがあるようだと教えてもらいました。これがあまりに素晴らし過ぎるので簡単に紹介します。 インストール brew環境を入れている人は以下のコマンド一発で使えるようになります。 [program lang=’bash’ escaped=’tru
ソフトウェア開発者が読むべき IT系雑誌の一覧と，おすすめの読み方 - 主に言語とシステム開発に関して
中級クラス〜のデベロッパにとって，フォローする事が望ましいIT系雑誌のリスト。 また，それらの読み方。 つまり，書店における立ち読みのポイントと，購入の判断基準。 （１）Web+DB PRESS （２）Software Design （３）日経Linux （４）日経NETWORK （５）日経SYSTEMS （６）日経ソフトウェア 補足 なぜ雑誌なのか？ 読者層としては， 主にWebアプリの開発をチーム内でリードするエンジニアやアーキテクトを想定。 （１）Web+DB PRESS 雑誌のホームページ http://gihyo.jp/magazine/wdpress この雑誌の読み方： 「特集」は無条件で精読する。 「プログラミング言語の記事」は，下記の点に注目して把握する。 言語の癖や特色，他の言語と差異化するファクター その言語から，あるサービスを利用するためのAPIの存在 バージョンアッ
Linux上でシェルが実行される仕組みを，体系的に理解しよう （bash 中級者への道） - 主に言語とシステム開発に関して
バッチのまとめTOPへ bash 初級者は，簡単なコマンドが並んだだけの小さなスクリプトを書くことができる。 しかしシェルの動作原理をよく理解しておらず， 一歩進んだことをやろうとするとつまずく。 シェルスクリプトの中級者になるためには， Linux上でシェルが動作する仕組みを体系的に理解しておく必要がある。 （１） シェルとコマンドについて （１−１） シェルとは，OSに命令を出すために，OSを包んでいる外膜である。 （１−２） Linuxログイン時には，そのユーザ用のログインシェルが起動する。 （１−３） ユーザが打ち込んだコマンドは，実行前に，bashによって整形される。 （１−４） コマンドの先頭の文字列は，実行可能ファイルか，またはbashの組み込みコマンドである。 （２） コマンド間の連携について （２−１） コマンド呼び出しとは，サブプロセスの生成である。 （２−２） 親プロ
Memory management in Linux
The document discusses Linux memory management, describing how physical memory is divided into page frames and virtual memory allows processes to have a virtual view of memory mapped to physical memory using page tables, and covers topics like memory overcommit, page cache, swap space, and tools for monitoring memory usage.Read less
prettyping
prettyping is a wrapper around the standard ping tool, making the output prettier, more colorful, more compact, and easier to read. Do you run ping tool very often? Do you find yourself squeezing your eyes to see if a packet has been lost? Do you want to have a better view of the latency and of the lost packets over time? Then prettyping is the tool for you! prettyping runs the standard ping in ba
Linus Torvals、クソコードにブチギレ
Linux-Kernel Archive: Re: [GIT] Networking Linus TorvalsがGCCの独自拡張を使った整数演算のオーバーフロー検知コードがあまりにクソすぎるためにブチギレしている。 On Wed, Oct 28, 2015 at 3:32 PM, David Miller <davem@xxxxxxxxxxxxx> wrote: リリースサイクルのこの後半に入れるのはちょっと怖いと思われるかもしれないが、小規模なドライバーの修正をあちこちに施しただけだよ。 マジかよテメーら、こりゃクソだ。 コンフリクトはGCCの新しいクソヘッダーファイルのせいなんだが、俺がブチギレてるのはそこじゃなくてこいつがクソなせいだ。 net/ipv6/ip6_output.cの以前のコードはこれだ。 mtu -= hlen + sizeof(struct frag_hdr);
アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について - s_tajima:TechBlog
問題 アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について調べた。 該当のサーバでは、以下のようにメモリの使用率が徐々に上昇していく。 また、アプリケーションのプロセス自体がメモリを消費しているわけではない状態。 原因 調査すると、このバグ仕様を踏んでいるのではないかと思われるページを見つけた。 https://bugzilla.redhat.com/show_bug.cgi?id=1044666 内容としては、curlを実行した際に /etc/pki/nssdb/以下の存在しないファイル(毎回違うパス)に対してaccessシステムコールが大量にコールされ、 negative dentry cacheが溜まっていき、メモリ使用量が圧迫されるというもの。 実際、この状況が起きているサーバを調べるとメモリ使用率のうち多くを占めているのはnega
【速報】Amazon Linux AMI 2015.09 がリリースされました！ | DevelopersIO
こんにちは、せーのです。先程EC2の新しいOSバージョン「Amazon Linux 2015.09」がリリースされました。 早速触ってみましたのでご紹介致します。 さわってみた ではとりあえず立ててみましょう。マネージメントコンソールからEC2を選び新しいインスタンスをローンチします。 おお、もうきちんと用意されています。ちなみにクイックスタートに載っているのはHVM版で、PV版が欲しい方はコミュニティから検索すると見つかります。 あとは普通のEC2の立て方と同じです。立ち上げるとIDの部分に「2015.09」の文字が確認できるかと思います。 SSHにてログインしてみましたが、とりあえず名前の部分が変わっているくらいで他には特に変わりはないようです。 $ ssh ec2-user@54.65.85.150 -i ~/dev/key/cm_experimentation.pem Warnin
systemd超入門 | DevelopersIO
これはとある勉強会用の資料です。スライド作るのが面倒臭くなったのでブログにすることにしました。 Systemdとは Systemdは、Linuxの起動処理やシステム管理を行う仕組みです。 Linuxの起動処理 Linuxの起動はざっくりと以下の4段階によって行われます。 電源投入によりBIOSが起動する。 BIOSからブートローダーが呼び出される。 ブートローダーがLinuxカーネルを起動する。 Linuxカーネルがinitプロセス(PID 1)を起動する。 このinitプロセスが、Linuxの起動処理を司ります。古くから使われていたのがSysvinitで、Sysvinitの代替えとして近年Ubuntuなどで採用されていたのがUpstartです。そしてFedora 15やCentOS 7、Red Hat Enterprise Linux 7で採用されたのがSystemdです。 System
ISUCONでNginxとMySQLをDocker化したときのパフォーマンス - ゆううきブログ
現実的なWebサービス環境において、Docker化によるパフォーマンス低下がどの程度のものか調査するために、 ISUCON4 の予選問題のうち、Nginx と MySQL 部分を Docker 化してベンチマークをとってみた。 典型的なWebサービスシステムの3層構造（Proxy, App, DB）を構築し、ベンチマーカーにより高ワークロードを実現できるので、ISUCON の予選問題は適当な題材といえる。 Docker のパフォーマンスについて留意することは先日書いたエントリに全て書いてる。 上記のエントリを要約すると、Docker のパフォーマンスについて重要なこととは storage-driver の選択 (AUFS or Device mapper or ...) Volume の ON / OFF AUFS などの差分ファイルシステムをバイパスするかしないか Host networ
CentOS flow-toolsの設定
ホーム CentOS6 OTRSのインストール CentOS6 VNC Serverのインストール CentOS6 iperfでスループット計測 CentOS6 IPv6アドレスの設定および無効化 CentOS6 IPv6のスタティックルートの追加 CentOS6 スタティックルートの追加 CentOS6 2TB以上のHDを使う カーネル起動の視覚化 カーネル起動オプション CentOS6 Quota CentOS6 Mondorescue CentOS6 NTP CentOS6 Kdump CentOS6 NIC Bonding CentOS6 SNMP Trap Manager CentOS6 ext4ファイルシステム CentOS6 yum CentOS6 リソース管理 CentOS6 iptablesによるパケットフィルタ CentOS6 Tripwire CentOS6 chkr
CentOS flow-toolsの設定
ホーム CentOS6 OTRSのインストール CentOS6 VNC Serverのインストール CentOS6 iperfでスループット計測 CentOS6 IPv6アドレスの設定および無効化 CentOS6 IPv6のスタティックルートの追加 CentOS6 スタティックルートの追加 CentOS6 2TB以上のHDを使う カーネル起動の視覚化 カーネル起動オプション CentOS6 Quota CentOS6 Mondorescue CentOS6 NTP CentOS6 Kdump CentOS6 NIC Bonding CentOS6 SNMP Trap Manager CentOS6 ext4ファイルシステム CentOS6 yum CentOS6 リソース管理 CentOS6 iptablesによるパケットフィルタ CentOS6 Tripwire CentOS6 chkr
Understanding CPU Steal Time - when should you be worried? | Scout APM Blog
A big thanks to Eric Lindvall of Papertrail for adding steal time to Scout's CPU Usage Plugin and helping out on this blog post! Netflix tracks CPU Steal Time closely. In fact, if steal time exceeds their chosen threshold, they shut down the virtual machine and restart on a different physical server. If you deploy to a virtualized environment (for example, Amazon EC2), steal time is a metric you'l
microインスタンスはlimitかけると大きくパフォーマンスが向上する（※再追記あり） - アルパカDiary Pro
※2014/07/02 T2インスタンスタイプとの比較 を追記しました。 ※2014/03/13 他インスタンスタイプとの比較／m3.mediumの検証 を追記しました。 こちらの記事の二番煎じです。 cgroupで、お手軽CPU使用率制限 なるほど。 リソースにLimitかけるとstealを防げるためパフォーマンスも上がるというわけですね。 どのくらい変わるのか実験してみました。 cgroup前準備 sudo yum install libcgroup sudo chkconfig cgconfig on sudo service cgconfig start cgroup設定 上記参考URLとほぼ同じ設定です。 実行時はcpu.cfs_quota_usを変動させて比較してみました。 sudo vi /etc/cgconfig.conf # 以下を追加 group limittest {
いますぐ実践! Linuxシステム管理
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://linux.mini13i.com/?kernel%2F%A5%B7%A5%B9%A5%C6%A5%E0%A5%D1%A5%E9%A5%E1%A5%BF
nginxのパラメータチューニングとh2o - Qiita
