1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
naoyaのはてなダイアリー - 負荷とは何か
調べごとをしたので blog に書いて理解を深めようのコーナーです。長文です。 Linux でシステム負荷を見る場合にお世話になるのが top や sar (sysstat パッケージに同梱されてるコマンド) などのツールです。 top ではシステム統計のスナップショットを見ることができます。今システムがどういう状態かなーというときは top が便利。 top - 08:16:54 up 3 days, 14:43, 6 users, load average: 0.18, 0.07, 0.03 Tasks: 43 total, 2 running, 41 sleeping, 0 stopped, 0 zombie Cpu(s): 18.2% us, 0.0% sy, 0.0% ni, 81.8% id, 0.0% wa, 0.0% hi, 0.0% si一方の sar では10分ごとのシ
接続数／帯域制限で無法なダウンローダを撃退
mod_limitipconnによる接続数制限 mod_limitipconnもまた、トラフィック制御を実現するモジュールです。こちらは単位時間当たりの接続数ではなく、単純に同時接続数で制限を行います。主な特徴は以下のとおりです。 /cgi-binや/imagesなど、URL単位で同時接続数の制限を設けることができる 拡張子やMIMEタイプによるファイルの区別が可能 HTMLファイルは無制限、WMAなどの動画ファイルには制限を設けるといったことが可能 制限が実施された場合、規制を受けたクライアントのアドレスをerror.logに出力できる .htaccessファイルを使ってディレクトリごとに設定できる なお、mod_bwshareと組み合わせて利用することもできます。 mod_limitipconnのインストールと設定 mod_limitipconnのソースは、配布元（http://dom
ユーザーごとに使用できるリソース制限をしたい
大勢のユーザーを抱えるサーバでは、システムリソースが1ユーザーによって占有されないよう管理する必要がある。PAMを利用すると、ユーザーごと、グループごとの制限をすることが可能だ。 # vi /etc/security/limits.conf * soft nofile 1024 * hard nofile 49152 * - maxlogin 3 上記の例は1行目で、すべてのユーザー「*」にソフトリミット「soft」、で読み込める最大ファイル数「nofile」を1024、最大限度「hard」では読み込める最大ファイル数「nofile」を49152ファイルに制限を意味する。 最後の行は、すべてのユーザーにおいて同時ログイン数を3に制限する設定だ。 また、次のような行を追加すると「enter」グループに属するユーザーについて、ほかのリソース属性を与えることができる。
ulimit -cについて
＞ulimit -c 値 ulimitという事はsh(bash)系ですね。 システム全体の規定値として設定したい場合「/etc/profile」に「ulimit -c 値」の記述を追加(実際には下記のように既に記述があるので修正)すればいいです。 ○/etc/profile(抜粋) -------8<-------8<-------8<-------8<------- # No core files by default ulimit -S -c 0 > /dev/null 2>&1 -------8<-------8<-------8<-------8<------- ちなみにこれがcsh系だと使用するコマンドはlimitコマンド(cshビルドインコマンド)でシステム全体の規定値として設定したい場合には「/etc/csh.login」のファイルに記述を追加(これも実際には下記のように既に
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
サーバやPCのボトルネック箇所の簡単な見分け方(Linux編)：佐野裕のサーバ管理者日記：ITpro
前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------
Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
複数のサーバのモニタリングソフト
Linux、Windows、FreeBSD、Mac OS Xで動作可能なサーバモニタリングソフトウェアです。フリーで利用できるバージョンであっても商用利用可能で、30個までのサーバを一元監視することができます。 HTTPなどの各種サービスの監視はもちろん、CPU負荷やメモリ、温度の詳細なグラフ出力やレポート出力も可能。サービスが落ちたかどうかの判断基準や、落ちた場合の通知方法はグラフィカルに条件分岐のダイアグラムから作成可能で、その際に実行するスクリプトなども指定できます。 ソフトウェア自体は監視するBixAgent、監視エージェントから送られてきた情報をまとめるBixServer、そしてその監視結果を表示して確認するためのBixDesktopで構成されています。 詳細は以下の通り。 BixData | Cluster and Systems Management http://www.b
Apache2.0/2.2系で帯域制限をしたい
Apache2.x系で帯域制限するモジュールとしては、「bwshare」(bwshareは2.2系は未対応？)というモジュールと「bw_mod」というモジュールがある。いずれもApacheへの過大なアクセスを制限するものであるが、その内容は似て非なるものである。 前者は、転送ファイル数やバイト数を監視し、設定量を超えると503エラーを返し一時的にアクセスを制限するというもので、帯域を制限するというものとはやや趣が異なるものである。一方、後者はApache1.3系のmod_bandwidthモジュールに近いもので、設定した転送量を制御するタイプのものである。どちらも動作はするが、前者は用途によっては活用できるかもしれないが、一定時間アクセスがロックされてしまうので一般的ではないことと、バグで簡単に対応できるDSOモジュールでの対応は転送量の設定を変更できないため、スタティックに組み込みまなけ
rsync + cron + ssh （rsyncd を立てない編）
目的と環境条件 このテキストでは、 rsync を使ったリモートバックアップ（遠隔バックアッ プ）の方法、特に ssh と cron を利用して、暗号化された経路を経由しての バックアップを自動的に行うための手順を示します。 ここで ssh の認証には、パスフレーズを空にし、かつ実行できるコマンドを 限定した ssh 鍵ペアを作成し使用します。これにより、 ssh-agent や eychain を利用する方法、ホストベース認証を利用する方法よりも安全なバッ クアップ体制が整えられる……はずです。 なお、このドキュメントの内容の正確さについては無保証です。なんせ、備忘 録みたいなものですので……。また、このドキュメントに書かれていることを 実行した結果直接的および間接的に発生した損害について、私（佐藤裕介）は 何ら責任を負いかねます。 用語の説明 ローカルホスト、ローカルマシン、ローカル
サーバ診断:vmstat - Y-110's Wiki
最新文章 2018-12-26 14:57▪ 宝山一楼盘千余业主收到高额交房通知书 2018-12-26 14:57▪ 书写大国经济的崭新篇章 2018-12-26 14:57▪ 杨浦3条公交线路拟调整居民以后出行方便了 2018-12-26 14:57▪ 上海交通行为样板路段区域12月测评榜公布 2018-12-26 14:57▪ 涉及30万人，葛洲坝集团宜昌基地六大类职能分离移交宜昌 2018-12-26 14:57▪ 金正恩送韩国的丰山犬生6个宝宝青瓦台晒近照 2018-12-26 14:57▪ 新华网启动视频化战略加速构建内容新生态战略支点 2018-12-26 14:57▪ 又一煤矿被重罚今年云南已查处53起煤矿严重违法违规典型... 2018-12-26 14:57▪ 央行：四季度88.8%的居民认为收入增加或基本不变 2018-12-26 14:57▪ 回首2018重温习近平
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
httpd.confによるWebサーバの最適化
http://fedorasrv.com/pptp.shtml