Linuxサーバ管理：apacheログを集計する - ねっとでべろ
少しずつですがUNIX/Linuxサーバやネットワークの管理者として必要な基本的なことを書いていこうと思います。 今回はWebサーバのdownloadフォルダからどのファイルが何回ダウンロードされているのかをコマンドで集計して表示させます。こんな感じです。 これを表示させるコマンドは初めて見ると魔法に見えるのですが実際はすごく単純です。 まず、apacheのログのありかを捜します。Debianなどは「/var/log/apache2/」にあるaccess.logがそれに当たります。まずはこれを普通に見てみます。 catコマンドで見ていると山のようにテキストが表示されます。（IPアドレスはxxxに直してます） 以下、太字が入力したコマンド、それ以降がサーバからの表示です。 # cat /var/log/apache2/access.log ::1 - - [28/Mar/2010:06:25
データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記
これぐらいやっとけ 〜Linuxサーバのセキュリティ設定〜 - nabeの雑記帳
管理中のサーバで行っているセキュリティ設定を公開します。本当はこういうことを公開するのはよろしくないのですが、脆弱サーバが氾濫している現状そこが踏み台となってsshアタックされるのも迷惑極まりないので、最低限やっとけという内容でまとめました。*1 起動サービスと概要 iptables/Firewallの設定 iptablesの中身 limit-burstについて hashlimitについて hosts.allow/hosts.deny(TCP Wrapper)の設定 sshdの設定 その他の設定 Apacheの設定 Postfixの設定 Dovecotの設定 まとめ はてブさんは #の切り分けやめてくれないかな……。 起動サービスと概要 Apache (www) sshd smtp/pop bind (DNS) ntpd いくつかの注意点。 sftpで十分なのでftpdは使わない。WinS
ファイル簡単検索にlocate コマンド。自分だけの検索インデックスを使う。 - それマグで！
loccate便利 いままでfind に頼ってましたが、locateを覚えてからはlocateばかり使っています。locate食わず嫌いでした。反省してます。 locateコマンドもファイル検索コマンドです。find・grep/locateの大きな違いは、事前インデックス作成の有無です。locateは事前インデックスとまず覚えた。ちなみにfindはファイル名を、grepはファイルの中身を検索します。locate コマンドは事前にファイルをインデックスするので、検索がとても早く重宝します。ファイル数が多いときは、locateが有利です。locate にも欠点があります。一つは事前にインデックス化です。もう一つが対象ディレクトリの指定はインデックスで行う点です。必要です。インデックス作成すれば速いのですが、作成は手間ですね。対象ディレクトリ毎に検索インデックスを作るのも手間です。 検索インデッ
Linuxで実行中の同一コマンド名のプロセスを一括停止する方法（pkillコマンド） | r_nobuホームページ (のぶねこブログ)
Linuxで実行中の同一コマンド名のプロセスを一括停止する方法（pkillコマンド） IT・コンピュータ・家電等 処理完了までに長時間を要するコマンドを何も考えずに短時間で何回も実行したり、あるいは、プログラムの不具合等（無限ループ）で処理を終了できないコマンドを（何度か）実行したりすると、マシンレスポンスが大変遅くなる時がある。 例えば、PHPをコマンドを（何度か）実行して、マシンレスポンスが平常時よりも明らかに悪いな、と気づいた時に、topコマンドで確認すると、以下のようにPHPプロセスで埋め尽くされる場合がある。 top - 17:02:59 up 7 days, 3:27, 1 user, load average: 170.59, 169.89, 169.52 Tasks: 575 total, 169 running, 397 sleeping, 0 stopped, 9 zo
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress
障害の兆候を見逃さないためのサーバ監視
監視するデータ 集客力のあるサイトを運営しているWebサーバやメーリングリストを運営しているサーバ、ソフトウェアを配布するFTPサーバ、ファイル共有をするためのサーバなどは、クライアントからの非常に多くの要求を処理する必要があります。 サーバの応答が遅い場合は、ハードウェアの増強などで対応する必要があります。ボトルネックの特定のためには、原因がCPUのパワー不足なのか、メモリ容量が足りていないのか、回線容量が細過ぎるのかなどを判断しなければなりません。そのほかにもハードディスク容量、マザーボードの温度、UPSの電力、メールの配送効率、Webページのアクセス解析など、運用中に注意して見ておく必要のあるデータは多くあります。 ここでは、システムを運用するうえで、監視項目として挙げられる主要なデータおよびその確認方法を紹介します。 プロセス プロセス関連の監視項目には、以下のようなものが挙げられ
Linuxの圧縮/解凍コマンドまとめ | dTblog
マイナーな圧縮形式になるとコマンドを忘れがちなので、まとめのメモ。 まずは基本の gz 形式から。（さすがに忘れないけど） 圧縮 $ gzip filename 解凍 $ gunzip filename.gz 続いて、tar.gz (tgz) 形式。（これも忘れないなあ） 圧縮 $ tar cvfz dirname.tar.gz dirname 解凍 $ tar xvfz dirname.tar.gz bzip2 (bz2) 形式。 圧縮 $ bzip2 filename 解凍 $ bzip2 -d filename.bz2 tar.bz2 形式。 圧縮 $ tar cvfj dirname.tar.bz2 dirname 解凍 $ tar xvfj dirname.tar.bz2 Windowsとのデータやり取りの基本、ZIP形式。 圧縮 $ zip filename.zip file1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
