一時ファイルとdentry cacheとメモリ - blog.nomadscafe.jp
わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem
ファイル指定で、ページキャッシュにのっているか確認したり追い出したり - （ひ）メモ
ファイル指定で、ページキャッシュにのっているか確認したり追い出したりするPerlモジュールを書きました。 https://metacpan.org/release/Sys-PageCache https://github.com/hirose31/Sys-PageCache Linux なら動くはずですが、動かなかったら教えてください。あと一応、FreeBSD 8.3以上でも動くと思います。 既存の実装にGoogleのlinux-ftoolsやエヌハヤシ氏のpagecache-toolがありますが、これのPerlモジュール実装（XS）になります。 https://code.google.com/p/linux-ftools/ https://github.com/nhayashi/pagecache-tool たまにfreeコマンドでみるとbuffers/cacheが食っててswapしてる
mcelog -- the linux hardware error daemon
mcelog logs and accounts machine checks (in particular memory, IO, and CPU hardware errors) on modern x86 Linux systems. mcelog is required by both 32bit x86 Linux kernels (since 2.6.30) and 64bit Linux kernels (since early 2.6 kernel releases) to log machine checks and should run on all Linux systems that need error handling. The mcelog daemon accounts memory and some other errors errors in vario
GNU Parallel を本番環境で使ってみました | Carpe Diem
GNU parallel を本番環境で使ってみました。 本番環境では、10 台程度ある Apache のウェブサーバのアクセスログを mod_log_rotate で 1 時間ごとに出力して、バッチ処理のサーバで集めています。 最初は、シェルスクリプトで、次のようにしていました。 次の例はウェブサーバが s1 〜 s10 まであって、$LOG_DIR/$LOGFILE に 1 時間ごとに出力したアクセスログがあると想定しています。当然ながら、下記のシェルスクリプトの実行ユーザで対象のサーバへ SSH 経由に接続できるものと想定しています。 for s in s1 s2 s3 s4 s5 s6 s7 s8 s9 s10; do ssh -q $s "test -f $LOG_DIR/$LOG_FILE" RETVAL=$? if [ $RETVAL -eq 0 ]; then rsync -
http://linux-ip.net/
Software was once delivered as monolithic, fear-inducing, complex forklift upgrades, with database schema migrations, application updates, library updates, configuration updates and plenty of downtime. Sometimes, there was a gut-wrenching irrevocable critical step in the process (often a schema update). Today, this is largely a relic and bad memory now, thanks, in part, to Virtualization and Conta
Cool, but obscure unix tools
Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. A little collection of cool unix terminal/console/cu
ソースからインストールしたソフトウェアを管理するツール「paco」 - jitsu102's blog
ソフトウェアをソースからインストールすると、アンインストールができない*1とか、"make install"時のログから手動でファイルを消すとか大変なことが多いですが、「paco」を使うと"make install"したソフトウェアを管理できます。 paco(pacKAGE oRGANIZER)とは paco - a source code pacKAGE oRGANIZER for Unix/Linux pacoは、ソフトウェアインストール時に、どこにファイルが作成されたかをログに残して管理しています。 上記の動作は、LD_PRELOADメソッドを使って行います。 When installing a package from sources, paco wraps the "make install" command (or whatever command or group of co
NAME — GNU Parallel 20240722 documentation
parallel NAME SYNOPSIS DESCRIPTION Reader's guide Tutorial How-to Reference Design discussion OPTIONS EXAMPLES SPREADING BLOCKS OF DATA TIME POSTFIXES UNIT PREFIX QUOTING LIST RUNNING JOBS COMPLETE RUNNING JOBS BUT DO NOT START NEW JOBS ENVIRONMENT VARIABLES DEFAULT PROFILE (CONFIG FILE) PROFILE FILES EXIT STATUS DIFFERENCES BETWEEN GNU Parallel AND ALTERNATIVES BUGS Quoting of newline Speed Start
init.d スクリプトを書こう
私が 1997 年頃に Slackware から Debian にやって来たとき、 悩んだことのひとつが起動スクリプトでした。 Slackware では rc.local というファイルに起動コマンド列を べた書きすればよかったのですが、 Debian では start, stop, restart などの引き数をとって、 ひとつのスクリプトで起動・停止・設定変更などを行います。 このため走っているデーモンプロセスを捕まえるために start-stop-daemon という独自コマンドが多用されることになりますが、 これは使い方に多少のコツがあります。 この文書では、これまでに自前の起動スクリプトを書いた経験から、 そのへんのポイントをいくつか書いておこうと思います。 ただまあ、 シャットダウンに気を使わなくていい いざとなったらスーパーユーザ権限でモゲればいい という場合も結構多いと思う
中規模データ処理で学んだ tips - フリーフォーム フリークアウト
移転しました http://please-sleep.cou929.nu/20101230.html
psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
Parallel sshで複数のホストへ同時にコマンドを実行する | Glide Note - グライドノート
pssh pssh(Parallel ssh)とは、複数のホストに対して同じ処理が実行できる並行処理型のSSHツールです。psshには平行処理形で複数のホストにscp、rsyncが実行出来るpscp、prsync、複数のホストから一斉にファイルを収集するpslurpが含まれています。 使い方がシンプルなので複数のホストに同じ処理を実行したい場合に便利です。 導入環境はCentOS5.5です。 psshの導入 psshの導入にsetuptoolsが必要なのでyumで導入 sudo yum -y install python-setuptools 最新版のpsshを導入。2010/08/26現在の最新バージョンは2.1.1です。 mkdir ~/tmp cd ~/tmp wget http://parallel-ssh.googlecode.com/files/pssh-2.1.1.tar
メモリ使用量の確認
サーバのメモリが思った以上に消費していたのでサックリ調べてたのですが 各プロセスのメモリ使用状況の調べ方としては ps aux --sort=-rss | head -40とやるとRSSのサイズでソートしてくれるのでheadとかでみてやればメモリ使用量が多い順に参照可能。 ただたんにps auxしただけだと見るのがしんどい。 topでもshift+Mで同じ感じでみれるのでそれでも良い。 （cを入力してプロセスの詳細を表示するとなおよい） あとはCoWに乗ってるかを調べたが、 http://d.hatena.ne.jp/naoya/20080212/1202830671 naoyaさんが紹介されている方法そのまんまでよいでしょう。 sudoして実行すること。 Cowはアプリの質にもよるが基本的にはライブラリが共有メモリに乗ってればいいから アプリの質をみつつsharedなパーセントを調整出
リモートホストとdiffる - （ひ）メモ
bashの「Process Substitution」という機能で、コマンドの実行結果を名前つきパイプから読めます。(thx かつみくん) $ cat -n <(date; echo foo) 1 Wed Jan 18 21:38:30 JST 2006 2 fooこれを使って、リモートホストのファイルとdiffを取るシェル関数を作ってみました。 こんな感じで使えます。 $ rdiff -u ~/s.txt REMOTE_HOST:~/d.txtまた-Rオプションで、rsyncの-R, --relativeオプションの様にローカルホストのパスをリモートホストの相対パスとして指定できます。たとえば、ローカルホストの/very/very/long/path/t.txtとリモートホストの同じパスのファイルをdiffるときには次のようにしてリモートホスト側のパス指定を略記することができます。 $
Linux でシステムの起動時に 1 度だけ処理を実行する。 - D.
システムの起動時に一度だけ実行する処理は、普通は /etc/rc.local に書くわけだが 、1 ファイルにすべてを書いてしまうと管理が煩雑になったりする。まとまった処理ごとにファイルを分けておいたほうが管理が楽だ。 そこで /etc/rc.local の内容を以下の通りにする。 #!/bin/sh if [ -d /etc/rc.local.d ]; then for i in /etc/rc.local.d/*; do if [ -r $i ]; then . $i fi done unset i fi exit 0 /etc/rc.local.d というディレクトリを用意する。ここにシェルスクリプトの書かれたテキストファイルを入れておくと上のスクリプトによってすべて実行されることになる。ファイル名は何でも良い。 イー・モバイル端末が本体に接続されていれば接続する例 (ネットブック等
知らなきゃ損するiptablesのTips
はじめに 最終回にあたり、iptablesを便利に使うTipsを紹介します。iptablesを1つ1つコマンドラインで実行するのは大変面倒です。そうした煩わしさを軽減できる設定や、実際の運用の手助けになるような工夫を紹介します。 関連リンク： →Linuxで作るファイアウォール［パケットフィルタリング設定編］http://www.atmarkit.co.jp/flinux/rensai/security05/security05a.html →連載記事 「習うより慣れろ！ iptablesテンプレート集」http://www.atmarkit.co.jp/flinux/index/indexfiles/iptablesindex.html →連載記事 「習うより慣れろ！ iptablesテンプレート集 改訂版」http://www.atmarkit.co.jp/flinux/index/i
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
明日から現場で役立つ極選 rsync filter レシピ大全集からマニア向けのを2つ - （ひ）メモ
#!/bin/bash # Time-stamp: <2010-01-26 21:32:06 JST, hirose31> beginning_of_the_world() { files=" hrpc/oreno/katsu/chikin/recipe.txt hrpc/oreno/katsu/pork/recipe.txt hrpc/oreno/soup/recipe.txt hrpc/oreno/dry/recipe.txt hrpc/oreno/hayashi/recipe.txt " rm -fr hrpc mnpc for fp in $files; do fpd=${fp%/*} mkdir -p $fpd touch $fp done } end_of_the_world() { tree -F mnpc rm -fr hrpc mnpc } ### oreno/katsu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
psコマンドでスレッドごとの%CPUを見たい (Linux) - （ひ）メモ
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。