sarによるボトルネック発見の手順(というかsysstatの使用法)をまとめてみた - end0tknr's kipple - web写経開発
sar で収集したリソース使用情報が sadf コマンドで TSV として出力 (2014/8/6追記) sar で収集したリソース使用情報が sadf コマンドで TSV として出力できる - 宮川拓の日記 ↑全く知りませんでした 私がよく利用するoption (2013/8/6追記. よく忘れるので) $ sar -r -s 00:00:00 -e 01:00:00 -f /var/log/sa/sa03 ｵﾌﾟｼｮﾝ 内容 例 -q load average $ sar -q -u cpu使用率 $ sar -u -b I/O回数とﾃﾞｰﾀ量 $ sar -b -r ﾒﾓﾘとｽﾜｯﾌﾟ使用率 $ sar -r -s 開始時間 $ sar -s 00:00:00 -e 終了時間 $ sar -e 03:00:00 -f 日付 ※ $ sar -f /var/log/sa/sa03 ※「
はてなブログ | 無料ブログを作成しよう
日記_2024.8.29 鞍馬と貴船 29日は鞍馬と貴船に行ってきました。こんな天気でバイクは無理、でも引きこもるのも嫌なので前々から行きたかった鞍馬と貴船に行くことにしました。ただ、いつ大雨が降っても全くおかしくないので天気がヤバそうなら帰ることにします。普通に日帰りできる距離ですから…
さくらクラウドとAWSを私の使い方で比較してみた - yuumi3のお仕事日記
さくらクラウドが新規利用を開始したので、試してみました。そして現在、私が使っているAmazon Web Services(AWS)とコストをメインに比較してみました。 私のクラウドの使い方 私(EY-Office)では、現在開発用のサーバーとしては、サクラVPSとAWSを使っています。 サクラVPSはRedmine, Git repository, Ruby on Railsのテスト用などに使っています。 本題のAWSの使い方は、 1. Ruby on Railsアプリの確認用サーバー 出来たアプリのAPI接続テストやお客様とのレビュー用。開発そのものは MacやVMWare上のLinuxで行うのでAPI接続テストやお客様とのレビューなどインターネットにつながってないと出来ない時のみ立ち上げて使っています。 現在、進行中の仕事でも使ったのは1週間ほどでしょうか？ お客様側の都合などもありプ
HadoopによるApacheのログ解析の実際
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行われている、Apacheのログ解析について、 ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、 その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 全体の流れとしては、 1) リバースプロキシからHDFSにログを転送 2) 解析用のサーバーで、HDFSにログの転送が終わるのを監視 3) ログの転送が終わったら、Hadoopを起動、解析 4) Hadoopの解析結果をデータベースに保存 以下では、各々のステップを個別に見て行くことにしますね。 1. リバースプロキシからHDFSにログを転送 当初、Hadoopのプロセスが立ち上がっていないと、HDFSにはアクセスできない、 と思い込ん
サーバのログ監視ツールを使いこなそう
ログを取得しても、監視していなければ意味がない。しかし、常時監視するのは現実的ではない。異常の発生をメールで通知させるなどの対策を行っておこう。（編集局） 前回はログの基本的な設定について説明しました。今回は、出力されたログをサーバの運用に生かす方法を検討します。 本来、ログは常に監視しておくものであって、異常時のみ確認ればよいというものではありません。ただし、常時監視できる管理者はほぼいないでしょうし、大量のログが出力されるサーバを監視するのは不可能でしょう。 であれば、少しでも労力を削減しつつ確実に必要な情報を拾う方法を考えなければいけません。そこで、ツールを利用したログの管理方法を説明します。ツールにはそれぞれ一長一短があるので、どのツールを使用するのか、あるいはツール同士を組み合わせて使用するのかを考えてみてください。 ログチェックの前提条件：時間合わせ 前回も説明したとおり、ログ
自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
お名前.comのVPSサーバを使うまで - UNIX的なアレ
安くて手軽に使えるVPSサーバないかなーと探していたら、見つけましたよ。お名前.comのVPSサーバです。 初期費用は5250円かかりますが、月額2940円でグローバルIPアドレスもらえてroot権限つきなら悪くないですね。 ざっくりとしたスペックは下記の通り。この価格ではなかなかのスペックだと思います。 OS CentOS 5.3 仮想化ソフトウェア Virtuozzo ディスク容量 50GB メモリ(最大) 1GB 詳細は下記から。 VPS｜ドメイン取るならお名前.com というわけでさっそく申し込みました。しかしながら、yumが使えない状態になっているのでいろいろとセットアップしました。 ちょこっとそのセットアップ手順をメモがてら載せておきたいと思います。 ファイアーウォールの設定 標準では、sshで使用される22番ポートは閉じられています。まずはセキュリティの設定からポートを解放し
livedoor Techブログ : 1000台の子供達 - livedoorを支えるサーバ群 -
自己紹介 私はライブドア（以下LD）で働いております安保サニーと申します。勤務地はLDのデータセンターこと「DATAHOTEL」です。前職はウェブディレクターを2年程やっており、Linuxの黒い画面て何？というレベルから、かれこれ3年が経とうとしてます。つまり技術的には、まだ若輩者です。 livedoorのメインサービスとも言える、「ポータル用サーバ」を、この2年間で1000台以上の台数を作成してきた私が、その流れを紹介したいと思います。 (注）基本的には流れ作業ですｗ 月に何台？ Alexaランキングでもトップ100に入る程のトラフィックを支えるサーバですが、大体ひと月にセットアップするサーバは40〜50台くらいです。ただし毎月増え続けているわけではなく、リプレースや仮想化による圧縮などがあるので、平均すると常に3000台くらいのサーバが、サービスを支えています。 標準的なサーバおよびO
» セキュアなサーバを作るために最低限やっておくこと: エスキュービズム ラボ Blog
Recent Entries セキュアなサーバを作るために最低限やっておくこと Yahooキーワード抽出APIライブラリ テスト駆動開発 （test driven development: TDD） のすすめ GoogleAnalyticsAPI on EC-CUBE 土日で作るコンパイラ OPEN ERPに挑戦３ OPEN ERPに挑戦２ OPEN ERPに挑戦 ERPはたくさんあれど・・・ OpenGLで3D、やってみよう Recent Comments No Responses. Recent Trackbacks テスト駆動開発 （test driven development: TDD） のすすめ 06/11 » Yahooキーワード抽出... みなさんはサーバを管理するときに、何を一番気にしますか？ 人によって程度の差はあるのでしょうが、誰もが気になるのが「セキュリティ」でしょ
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
Apache上でRuby on Railsアプリケーションを動かす／Passenger(mod_rails for Apache)の利用
この文書は内容が古くなっています。 インストール ページで新しい文書を探してください。 要約 Redmine等のRuby on Railsアプリケーションを"Phusion Passenger(mod_rails for Apache)":http://www.modrails.com/ を利用してApache上で稼働させる手順を説明します。 運用の簡素化、複数インスタンスを並列稼働させることによるレスポンスの改善が期待できます。 インストールの流れは次の通り。 gem install passenger passenger-install-apache2-module httpd.confの変更 Phusion Passengerとは Railsアプリケーションを実行するためのApacheモジュールです。 特徴 Apache単独でRailsアプリケーションを実行可能です。Apacheのモ
Yahoo!ショッピングにおけるログ設計と監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野と申します。 今回は「アプリケーションログの設計と監視」について、実際にYahoo!ショッピングで採用している方法を少し交えながらお話しさせていただきます。 1.ログ設計のポイント ログ設計は、以下のポイントに注意して行うとよいでしょう。 ・ログ出力のポイントが押さえられているか ⇒セッションの始まりと終わり、処理の過程、例外処理の中など。 フローチャートのような処理フロー図があれば、そこにログ出力ポイントを書き込むとわかりやすくなります。 ・出力する情報に過不足はないか ⇒「いつ(システム時間)」「だれが(プロセスID・IPアドレスなど)」 「どこで(パスなど)」「なにをした(実行コマン
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
安サーバー構築記１ - ハード組み立て・回線契約編 - komagataのブログ
ITベンチャー勝ち組セットで書いた安サーバーの構築記を書いていこうと思います。 実際買って設定してみたら上手くいかなかったなんてことがあるかもしれないので人柱の使命を果たす！ ハード到着 届いたもの一式。 １階のルーターから線を引っ張ってきて２階にサーバーを設置するので、長いLANケーブル、ハブ、電源タップ、ケーブルテープなども買ってきました。 組み立て・設置 設置完了。 エレクターは家に元々ありました。 設置中に気付いたこと。 ML115 G5はキーボード付いてたので別途買う必要無かった。 ML115 G5のケースのもろもろの扱い易さは素晴らしかった。（特にHDD取り外しが楽！） マイナスドライバーが必要。 ML115 G5はアレが付いてないので買い足しに出かける必要があった。（実際、店の人に下記のようなイラストを見せて、「コレありますか？」と聞いた。通じた。） 回線契約 まず実家の回線
安サーバー購入に関するあれこれ - komagataのブログ
DellのPE T100買っちゃったのその後なんですが、俺の浅い調べのせいで紆余曲折ありました。苦労したのでみなさんの参考（人柱）になれればと・・・。 結論 サーバーはNTT-X Store、メモリ・HDDは価格.comで探せ！ HP ProLiant ML115 G5にメモリ・HDDいっぱい積め！ RAIDは忘れてサーバーもう一台買ってrsyncとかの方が安い！ （2009/12/19 現在、HP ProLiant ML115 G5が11,750円・・・） まず、Dell PowerEdge T100はECC付きメモリじゃないと駄目らしい。2GBx2枚が3,988円で買えるご時世、これは痛い。Dellの営業さんに申し訳なかったけどキャンセル。HP ProLiant ML115 G5をNTT-X Storeで注文。メモリ計8GB（8,336円）、HDD1.5TB（12,568円）を価格.c
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
さくらインターネット、「さくらの専用サーバ」を改定、月額8800円から提供 
省サーバ運用
saases.jp
Linode - Xen Cloud Hosting
YAPC::Asia 2日目 「はてなブックマークのシステムについて」 - naoyaのはてなダイアリー
