Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
curl(1) で POST する際の --data と --form の違いについて - @kyanny's blog
調べてみた。動作確認用のサーバは plackup で立てている。 app.psgi の中身は一番最後に。 --data (-d, --data-ascii) application/x-www-form-urlencoded 形式で POST する。 @/path/to/file のように value の先頭が @ ではじまっているとファイルを読み込んで改行文字を取り除く。パラメータや @ つきで指定したファイルの中身はすべて URL エンコードされていることが期待される。つまり curl(1) は URL エンコードしてくれない。 -d を複数回指定するとすべてのパラメータが & で連結される。 @ でファイルを指定する場合、 -d 'file=@sale.txt' のようにすると中身が展開されないので注意 (file=@sale.txt という文字列が渡される) $ curl -d '
技術/UNIX/なぜnohupをバックグランドジョブとして起動するのが定番なのか？(擬似端末, Pseudo Terminal, SIGHUP他) - Glamenv-Septzen.net
ホーム 検索 - ログイン | | ヘルプ 技術/UNIX/なぜnohupをバックグランドジョブとして起動するのが定番なのか？(擬似端末, Pseudo Terminal, SIGHUP他) [ Prev ] [ Next ] [ 技術 ] 何をいまさら当たり前の事を・・・と思われるだろう。 $ nohup long_run_batch.sh & SSHからログアウト後も実行を続けたいバッチジョブを、"&"を付けてバックグラウンドジョブとしてnohupから起動するのは定番中の定番である。 しかし、「nohupを使わなくても実行を続けることが出来る」やり方があったり、さらには「nohupを付けてもログアウト時に終了してしまう」パターンがあるとしたらどうだろう？ そして、ある日あなたの後輩や同僚がこれらについてあなたに質問してきたら、あなたはどう答えるだろうか？ 「Web上で検索したら見つか
アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について - s_tajima:TechBlog
問題 アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について調べた。 該当のサーバでは、以下のようにメモリの使用率が徐々に上昇していく。 また、アプリケーションのプロセス自体がメモリを消費しているわけではない状態。 原因 調査すると、このバグ仕様を踏んでいるのではないかと思われるページを見つけた。 https://bugzilla.redhat.com/show_bug.cgi?id=1044666 内容としては、curlを実行した際に /etc/pki/nssdb/以下の存在しないファイル(毎回違うパス)に対してaccessシステムコールが大量にコールされ、 negative dentry cacheが溜まっていき、メモリ使用量が圧迫されるというもの。 実際、この状況が起きているサーバを調べるとメモリ使用率のうち多くを占めているのはnega
Rethinking PID 1
If you are well connected or good at reading between the lines you might already know what this blog post is about. But even then you may find this story interesting. So grab a cup of coffee, sit down, and read what's coming. This blog story is long, so even though I can only recommend reading the long story, here's the one sentence summary: we are experimenting with a new init system and it is fu
Linux女子部 systemd徹底入門
5. Open Cloud Campus 5 Linux女子部 systemd徹底入門！ Linuxの起動プロセス (1) 「システムBIOS」が起動ディスクからブートローダ（GRUB）をメモリに読み込んで実行。 GRUBは起動カーネル選択画面を表示して、指定されたカーネルと初期ラムディスクをメモ リに読み込んだ後に、カーネルを実行。 カーネルは、初期ラムディスクの内容をメモリ上のラムディスク領域に展開して、「initス クリプト」を実行。 – 初期ラムディスクには、ルートファイルシステムへのアクセスに必要なデバイスドライバと「init スクリプト」が含まれます。 ブートローダ （GRUB） /bootファイルシステム ② ブートローダが 読み込み ③ ラムディスク領域 に展開 起動ディスク物理メモリ Linuxカーネル 初期ラムディスク Linuxカーネル 初期ラムディスク
xargsからのcURL
1200くらいのURLのリストを渡され、そのURLのファイルをダウンロードする必要があった。今更ダウンローダーをダウンロードしてきて、インストールして、使って、アンインストールするのも面倒だったので、xargsからcURLをつなげてやった。 $ xargs -n 1 -P 4 curl -OL < urllist.txt xargsは、-n 1で標準入力を一行ずつの処理でき、-P 4で指定したコマンドを4つ並行に走らせることができる。cURLでは-Oを使ってURLから保存するファイル名を取り、-Lでリダイレクトを辿るようにする。これで4つ並行にファイルをダウンロードできた。 xargsはもちろん、cURL程になっても使い方を覚えてなくても--helpでなんとなくわかる。こういう--helpやGoogleで使い方や利用例がわかるCLIツールは、ほとんど何も覚える必要がない(どういう目的のツー
logrotate（ログローテート）の動作確認 – OpenGroove
Linuxにおけるlogrotate（ログローテート）の機能についておさらい。ログローテートが実行される際の流れは、概ね以下のようになる。 cronが主設定ファイルの/etc/cron.daily/logrotateを読む。 /etc/logrotate.conf の読み込みから logrotate が起動される。 また/etc/logrotate.conf はそのディレクティブ “include” により、 /etc/logrotate.d/ 配下にある各ログ個別の設定を読み込む。 ※http://www.asahi-net.or.jp/~aa4t-nngk/logrotate.htmlから抜粋 しかし今回は、logrotateの設定をどこにどう書くかという話でなく、動作確認や、うまく動作しない時の対処について。（confのオプション等には上記サイトに書いてあり、なかなか参考になる） ま
訳：非推奨になったLinuxネットワークコマンドの代替コマンド - aws memo
これはちゃんとチェックしておかないとなぁ。 Deprecated Linux networking commands and their replacements « Doug Vitale Tech Blog ==== この記事で詳しく説明する非推奨のLinuxネットワークコマンドは：arp, ifconfig, iptunnel, iwconfig, nameif, netstat, route である。iwconfig以外の コマンドは、net-toolsパッケージという、数年間メンテナンスされていないパッケージに含まれている。これらのユーティリティによって提供される機能は、新しいipコマンドを主に使うiproute2 スイートで再提供され、改善され続けている。iproute2ソフトウェアのコードとドキュメントは、Kernel.orgとLinux Foundationで見ることができ
Tailしながらsed,awk等をノーバッファで快適に使う。 - 自分の仕事を憎むには人生は余りにも短い
tail -f した結果をsed,awkしてるとバッファリングされてしまい、ぬるぬる感がなくなっていやですよね。 これは各プロセスがバッファするためなので、バッファしないように指定してあげましょう。 各コマンドのノーバッファの設定は以下の通り。 awk {fflush()} grep --line-buffered sed --unbuffered なのでこんなかんじで快適。 tail -f app.log | grep --line-buffered Grapon | sed --unbuffered -e "s/hoge/hage/" | awk -f '{print $2}{fflush()}'
いまさらgrepが10倍高速化したのはなぜか – はむかず！
最近GNU grepコマンドの最新バージョンがリリースされ、速度が10倍になったとのアナウンスがあった。それを聞いて、なんであんな枯れた技術に10倍もの高速化の余地があったのだろうと不思議に思った人も多いだろう。 ニュース記事：grepコマンド最新版、”-i”で10倍の高速化 本家のリリースノート：grep – News: grep-2.17 released [stable] 今回のリリースでは正確には、マルチバイトロケールで、-iオプション（–ignore-case、つまり大文字小文字を区別しないオプション）をオンにした時の速度が10倍くらいになったそうだ。 なぜそんなに速くなったのか？逆を言えば今までなぜそんなに遅かったのか？ そもそも、多くの日本人にとって「大文字小文字の区別」というと英語のアルファベットか、せいぜいフランス語とかドイツ語とかのアクサン記号・ウムラウトがついたものく
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
systemdを本番運用してわかったこと - mixi engineer blog
こんにちは、運用部 アプリ運用グループの清水です。モンスト仲間募集中です。 以前、Fedora 8からFedora 17への移行のお話を書きました。Fedora 17ではsystemdがデフォルトで使われています。そのsystemdを本番環境で運用して1年以上が経ち、様々な経験をしてきました。systemdの環境で知っておくと役に立つと思われることについていくつか紹介したいと思います。 まずは、systemdの概要について簡単に紹介します。 systemdの概要と歴史 systemdは、従来のSysVinit/Upstartに代わるもので、Linuxサーバの起動時に初期設定やサービス起動をおこなうことにとどまらず、プロセスやリソースなど様々な管理をおこなうデーモンです。 Fedora 14の頃（2010年11月リリース）にTechnology Previewとして提供され、Fedora 1
sendfile - システムコールの説明 - Linux コマンド集 一覧表
#include <sys/sendfile.h> ssize_t sendfile(int out_fd , int in_fd , off_t * offset ", size_t" " count" ); sendfile ()は、あるファイル・ディスクリプタから別の ファイル・ディスクリプタへのデータのコピーを行う。 このコピーはカーネル内で行われるので、 sendfile ()は、 read (2) と write (2) を組み合わせるよりも効率がよい。 read (2) や write (2) ではユーザ空間との間でデータの転送が必要となるからである。 in_fd は読み込みのためにオープンされたファイル・ディスクリプタ、 out_fd は書き込みのためにオープンされたディスクリプタでなければならない。 offset が NULL でない場合、 offset は sendfi
rdesktop の tips - daily dayflower
Linux から Windows のリモートデスクトップ（もしくはターミナルサービス）に RDP で接続するのには rdesktop というコマンドがあります。これコマンドラインインタフェースから使うので敬遠する人も多いかも。GUI のフロントエンドとして，たとえば GNOME のターミナルサーバクライアント（tsclient）があるので，こちらを使うと使いやすい*1んですが，rdesktop のポテンシャルを 100% 生かしきれない*2ので結局 rdesktop コマンドを直接いじるのが吉です。 $ rdesktop -5 \ -g 1024x768 \ -a 24 \ -N \ -x lan \ -z \ -P \ -r disk:home=/home/dayflower \ -r sound:local \ -r clipboard \ -u dayflower \ -d WORK
Apache/SSL自己証明書の作成とmod sslの設定 - maruko2 Note.
Apache/SSL自己証明書の作成とmod sslの設定 提供：maruko2 Note. < Apache 移動： 案内, 検索 目次 1 手順 2 秘密鍵の作成 (server.key) 3 CSR（証明書の基になる情報）の作成 (server.csr) 3.1 入力項目の例 4 証明書（公開鍵）の作成 (server.crt) 5 Apache mod_ssl の設定 6 Apache 起動時にパスフレーズの入力を省略する 6.1 秘密鍵 (server.key) ファイルをあらかじめ復号化しておく方法 6.2 Apache起動時のパスフレーズ入力を自動化する方法 7 参考ページ 8 Apache 関連のページ 手順 2017年1月1日以降、SSL 証明書の署名アルゴリズムとして SHA-1 を使用している証明書は SSL 通信ができなくなる。 これは、Windows製品、Goog
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cronを2分,7分,12分...みたいな半端なタイミングで動かす - Qiita
標準教科書シリーズ お問い合わせ窓口
introvert.com
iptables のコマンド書式