新米Linux管理者がよくやる10の間違い
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 多くの人にとって、Linuxへの移行は喜びに等しい出来事だ。だが、悪夢を経験する人もいる。前者ならば素晴らしいが、もし後者なら最悪だ。しかし、悪夢は必ずしも起きるわけではない。特に、新米のLinux管理者が犯しやすい、よくある間違いをあらかじめ知っていれば、悪夢を避けられる可能性は高いだろう。この記事では、いくつかの典型的なLinuxでのミスを列挙する。 #1：さまざまな手段でアプリケーションをインストールする これは最初は悪いアイデアではないように思える。もしUbuntuを使っていれば、パッケージ管理システムが.debパッケージを使っていることを知っているだろう。しかし、ソースコードでしか見つけられないアプリケーションも多くある。大し
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
スラッシュドット・ジャパン | サーバ監視、何使ってる？
SF.JP Magazineで「Webインタフェースでマシンを監視する4つの方法」という記事が掲載されています。Webインタフェースを持つ4つのサーバ監視ツール（collectd、Cacti、Monitorix、Munin）の特徴をそれぞれ解説した記事で、筆者は記事の末尾で以下のように述べています。 データをじっくりと分析する場合や、管理者以外のユーザからもシステムの統計情報を参照できるようにする場合は、最初にCactiをあたるのがよさそうだ。すでに十分な負荷がかかっているシステムで情報収集を行うなら、システムに与える影響の小さいcollectdを試せばよい。また、多数のノードで個別のアプリケーションパッケージを使って情報を集めるMuninは、同じようなマシンで構成される小規模なグループの監視に向いており、1台しかないサーバの状態を手っとり早く把握したければ、とりあえずCactiかMoni
0×0018 till I die » はてなnaoyaさん「はてなを支えるバックエンドシステム」
403 Forbidden nginx
さくらインターネット移行記#6 移転完了 - naoyaのはてなダイアリー
さくらインターネットのデータセンターへのシステム引越し作業が、今日完了しました。最初にこの移行記を書いたのが 昨年の1月 でしたので、約 1 年です。今日は恒例の TGIF (Thank God It's Friday の略だそうです。金曜日の夕方はビールを飲みながらスタッフ全員で一週間を振り返ります。) で、1年間おつかれさまと労いの言葉をもらいました。とても嬉しかったです。 よい機会なので、旧サーバールームの写真を撮ってきました。まず一枚目の写真は移転前のものです。(もう少し引いた写真が欲しかったのですが、見つかりませんでした。) このような具合で各ラックにサーバーが詰まっており、また一時期はサーバーがラックに入りきらないため外に棚を作って、そこに固定したりということを行ってなんとか凌いでいました。 これが移転後、ちょうど 30 分ほど前に撮って来た写真です。サーバーはなくなり、残すと
Apacheのトラブルを解決する10のヒント - builder by ZDNet Japan
本当のデータ活用できていますか？ データドリブンがあたりまえと言われる今あらためて考えたいデータ活用のありかた これからの社内DX 真のDXのため、まずは社内のデジタル化を DXのファーストステップのヒント データ活用は次のステージへ トラディショナルからモダンへ進化するBI 未来への挑戦の成功はデータとともにある コマース広告の大変動 プライバシー保護とパーソナライズの狭間で マーケティングの効果を最大化するためには オープンソース活用はあたりまえ！ そんな今だからこそ改めて考える 企業ITにおけるOSS活用のメリットとリスク 仮想環境データ保護の新次元 高度化・複雑化するIT環境の課題への解決策 最新鋭データ保護・管理ソフトウェア基盤 最新ストレージで変わるIT運用 仮想化テクノロジーとFlashArrayの組合せで 運用負荷軽減と高性能化を実現したDMM 現場主導のデジタル変革 ビジ
Linuxのトラフィック統計をシンプルにグラフ化できる「darkstat」
パケットをキャプチャして解析するソフトはいろいろとありますが、この「darkstat」はその中でも至ってシンプルでなおかつ軽量なのがウリ。シンプルとは言ってもちゃんと内蔵されたミニサーバ経由で直近60秒から直近31日間のグラフを見ることができたり、接続している各ホストについて転送量の確認、さらには各ホストの開いているポートやプロトコル別の統計まで表示可能です。 無線LANアクセスポイントを拡張するファームウェア「OpenWrt」などにも採用されており、なかなかいい感じ。 詳細は以下から。 darkstat http://dmr.ath.cx/net/darkstat/ このように接続しているホスト別の統計も可能 各ホストのさらなる詳細表示までできる 実際に使ってみるには、まずファイルをダウンロード wget http://dmr.ath.cx/net/darkstat/darkstat-3
さくらインターネット移行記#5 久しぶりの移転作業
だいぶ間が空いてしまいましたが、久しぶりのデータセンター移行記です。 アンテナ、カウンター、検索を移転 完全移行もぼちぼちゴールが見えて来た今日この頃ですが、先日もサーバーの移行作業を行いました。はてなアンテナの巡回システム周り一式、はてなカウンター、はてな検索などをまとめて移行しました。今回の移行も深夜作業。夜の 2:00 に集合して作業開始です。上の写真は僕のメンテナンス時の作業着です。 サーバールームからサーバーを運び出します。台車が大活躍です。 ぎっしりサーバーが詰まっていた旧サーバールームも、だいぶ閑散としてきました。まだ 70 台近くのサーバーが残っていますが、開発機などを除くと残り 40 台程度になりました。年内には全部移行できるのではないかと思います。 アンテナやカウンターともなるとはてなの中では古いサービスなので、使っているハードも古い。移転にあたって古いサーバーはハード
システムを監視＆起動する·Monit MOONGIFT
サーバを持っている人が増えている。レンタルサーバでは機能的に不十分で、VPSにしたり自宅サーバを構えたりする。そうなると突如サービスがダウンしてしまう場合に備えて、監視をする必要が出てくる。 大抵、サービスは落ちてほしくないタイミングで落ちる。24時間監視するのは無理だろうが、システムを使って監視は可能だ。 今回紹介するオープンソース・ソフトウェアはMonit、サービス監視ソフトウェアだ。 Monitは予め登録しておいたサービスの起動状態を監視し、それが落ちたりすると、再度立ち上げることができるソフトウェアだ。落ちるのは何らかの原因があるだろうが、それでも尚とりあえず再起動してくれた方が良い場合が多い。 対応しているサービスは例えばCron、Bind、Proftpd、SSHD、Apache、Zope、Postfix、Spamassassin、MySQL、OpenLDAP、Samba、Web
速くて落ちないサービスを提供する - jkondoの日記
外からはなかなか評価されない仕事としてもう一つ大きいのがサーバーの仕事です。はてなのように、1ヶ月のUU（ユニークユーザー）数900万人、月間のPV（ページビュー）が10億PVを超えるサイトを運営するには、当たり前ですが相当なサーバーやネットワークが必要となります。 これまでこのサーバーやネットワークについては、「なるべく安く」ということを目標に構築してきました。売り上げが安定的ではないため、業績が悪化した際にリスクとなる固定費をなるべく減らしたかったからです。（ちなみにはてなは外部からこれまで資本を入れておらず、全て自分たちの事業で生み出した利益を元に設備投資を行ってきています。苦労して生み出した利益を使ってサーバーを買うわけですから、そのコストについて厳しくなるのは当然ですし、そのおかげでネットベンチャーには珍しく、完全自己資本でここまで会社を成長させることができました。ただ、自己資本
tips - ApacheのLogフォーマットの方を変えて高速化 : 404 Blog Not Found
2007年10月05日00:00 カテゴリTipsLightweight Languages tips - ApacheのLogフォーマットの方を変えて高速化 というより、高負荷サーバーの場合、ApacheのLog Formatを変更しちゃった方がいいでしょう。 ? （高速に）Apache の log を解析する正規表現 : a++ My RSS 管理人ブログ こんなの広めちゃいかん と思いついついエントリ。具体的には、 LogFormat "%h\t%l\t%u\t%t\t\"%r\"\t%>s\t%b\t\"%{Referer}i\"\t\"%{User-Agent}i\"" combined_tsv ないし、さらに LogFormat "%h\t%l\t%u\t%t\t%r\t%>s\t%b\t%{Referer}i\t%{User-Agent}i" combined_tsv として
[Think IT] サーバが重いってどういうこと? (1/3)
サーバが重いってどういうこと? 著者：ウノウ 尾藤 正人 2007/10/4 2007年10月の連載ランキング1位（一覧を見る） サーバ管理者だけではなく誰でも一度は経験したことがある「サーバが重い」という現象。一言で「重い」というのは簡単ですが、重いというのは具体的にどういうことなのでしょうか。 ここでいう重い・軽いは単一のベクトルで判断できるような簡単な代物ではなく、様々な要素によって発生する現象です。処理が重いからといって闇雲にハードウェアを増強するのは賢いやり方とはいえません。例えば、メモリ不足が高負荷の原因なのに、CPUを高速なものに変えても効果はほとんどないでしょう。 このような無駄な投資を避けるためにも、負荷の原因を特定して素早く対応策を講じるのはサーバ管理者にとって重要なスキルになります。本記事ではサーバ負荷の特定の仕方と対策の仕方について、簡単な概要を説明します。
【真夏の夜のミステリー】Tomcatを殺したのは誰だ？ (1/3) - ＠IT
【真夏の夜のミステリー】Tomcatを殺したのは誰だ？：現場から学ぶWebアプリ開発のトラブルハック（6）（1/3 ページ） 本連載は、現場でのエンジニアの経験から得られた、APサーバをベースとしたWebアプリ開発における注意点やノウハウについて解説するハック集である。現在起きているトラブルの解決や、今後の開発の参考として大いに活用していただきたい。（編集部） 【第1章】Tomcatが無応答!? トラフィックの多い大規模サイトでは、その負荷のためにさまざまな問題が発生する。それらの問題を回避するには、性能を考慮して作られたアプリケーションや、ノウハウに基づいたミドルウェアのチューニングが必要となる。 TomcatはServletコンテナとしての長い歴史を持ち、多くの採用実績を持つオープンソースのアプリケーションサーバ（以下、APサーバ）だ。大規模なサイトで採用される事例も出てきており、To
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
Command Technica：rsyncを使った熟練者レベルのバックアップ (1/3) - ITmedia エンタープライズ
rsyncを使いこなせば、あなたが想定するバックアップのニーズのほとんどに対応できるようになる。ここでは、あなたをrsyncマスターにするためのポイントを解説する。 この2カ月でわたしはあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでにわたしのデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間が掛かるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsync の素晴らしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転
Webサーバへの攻撃を見抜く ― ＠IT
ウイルス、ワーム、ボットによる攻撃……ネットワーク上に存在する脅威は多種多様である。サーバにアクセスされた形跡を見て、それが通常のものなのか、それとも脅威なのかを判断するには知識と経験が必要となる。そこで本連載では、インシデント・ハンドリングのために必要な「問題を見抜く」テクニックを分野ごとに解説していく（編集部） ※ご注意 他社および他組織のWebサイトなどへのポートスキャンおよびデータの取得などの行為で得た情報を侵入などに悪用するか、または同じ目的を持つ第三者に提供した時点で違法となります。ご注意ください。 本稿の内容を検証する場合は、必ず影響を及ぼさない限られた環境下で行って下さい。 また、本稿を利用した行為による問題に関しましては、筆者およびアイティメディア株式会社は一切責任を負いかねます。ご了承ください。 インシデントを最終判断するのは「人間」 インターネットは、いわずと知れた世
ウノウラボ Unoh Labs: Cactiによるサーバ稼働状況の監視と異常通知
こんにちわ。 7月2日に、エイガでつながるクチコミサイト「映画生活」のリニューアルが無事に終わってほっとしているhideです。近々、映画APIなども公開していきたいと思っていますので、どうぞよろしくお願い致します。 さて、今日は、Cactiを使ったサーバ稼働状況の監視について説明したいと思います。サーバの稼動状況を監視するツールとしてはMRTGが有名ですが、ウノウではCacti を使っています。MRTGと比べて、Webブラウザ上から設定を行うことができる、データはMySQLに保存されるので過去の任意の時点を詳しく見ることができるなどの点で優れています。 Cactiは普通にインストールしただけだとサーバから取得したデータをグラフ表示するだけなのですが、http://cactiusers.org/にて公開されている Cacti Plugin Architecture というパッチを当てるとプ
さくらインターネット移行記#4 はてなダイアリー移転 - naoyaのはてなダイアリー
いきなり失礼しました。はてなのインフラチームの打ち上げは渋谷で焼肉と相場が決まっています。これは前回の打ち上げで行った焼肉屋での一枚。明後日にははてなダイアリーデータセンター移転打ち上げを開く予定です。 ...ということで、昨日ようやく、はてなダイアリーをさくらインターネットのデータセンターへ移転しました。恒例の写真で振り返る移転レポート、はてなダイアリー移転編です。 今回の移転は深夜に行いました。0:00 に会社に集合。移転にあたって一ヶ月くらいかけて準備をしてきたので慌てることもなく、サービス停止時間の 2:00 までわりとマターリ進行でした。僕は id:hideoki と PSP でモンハンしてました。 これは ENERMAX LIBERTY 電源。最近はてなの自作サーバーで愛用している電源です。はてなダイアリーの移転にあたり動いているサーバーを止められるチャンスだったので、これを期
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ - 人力検索はてな
Linuxのtopコマンドで表示されるload averageについて教えてください。…