高負荷に耐えうる WebApplication の Architecture を設計する際に ・どこで対策するか ・どのように作るか をご紹介します。 Read less
高負荷に耐えうるWebApplication Serverの作り方
高負荷に耐えうる WebApplication の Architecture を設計する際に ・どこで対策するか ・どのように作るか をご紹介します。 Read less
VagrantとSSDなVPS(Digital Ocean)で1時間1円の使い捨て高速サーバ環境を構築する - Glide Note
今年の初めくらいから個人的な技術検証にはSSDで動作が速く、1時間1円で料金が安いのと ロケーションをSan Franciscoにするとsshでもレスポンスが悪くないので、全部Digital Oceanを使っている。(徳丸先生が紹介する前から使っていたんだ！) Digital OceanについてはRebuild: 2: Rails, Redis, VPS (Kenn Ejima)の42分くらいから言及されてます。必聴です。 使ってる旧型のMacBookAirみたいな貧弱なマシンだとローカルでVM動かすとファン回りまくりとかで泣きたくなるので、Digital Oceanだと泣かずに済んで快適。 そんで今日Vagrant経由でDigital Ocean利用すると、コマンドラインから必要なときに新規インスタンス(Droplet)作って、 検証終わったら削除という手軽な使い捨て高速サーバ環境が利用
最近のサーバの抽象化について - As a Futurist...
学者でもなんでもない現場のいちエンジニアの感想です。しかも、どれもちゃんと使ったことないので、聞きかじりをまとめたメモ書きなので嘘が入ってますが、興味ある方がいればどうぞ。 はじめに かつては「OS=物理サーバ」であって、その物理サーバの資源(CPU,RAM,DISK,etc.)をどのように使うかは OS がプロセスに割り振る形で決定されていました。しかし、それでは例えば以下の様な問題があります。 ファイルシステム資源をプロセスが自由にコントロールできない ProcA と ProcB で使いたい libfoo のバージョンが異なる場合面倒 CPU, RAM 資源もコントロールしにくい 同居してるプロセスがメモリ食い尽くして、みんな死亡、みたいな そもそも異なる OS を同居して使うことができない CentOS ばかり使ってるのに、使いたいライブラリが Debian でしか動かないとか 解決
構築済みサーバを RSpec でテストする serverspec という gem をつくった - Gosuke Miyashita
Puppet や Chef で構築したサーバを RSpec でテストする で書いた仕組みを使いやすくするために serverspec という名前で gem 化してみた。 rubygems.org にも登録してあるので、gem install でインストールできる。 $ gem install serverspec インストールしたら、適当なディレクトリで serverspec-init を実行。すると、雛形となるディレクトリやファイルを生成する。 $ serverspec-init + spec/ + spec/www.example.jp/ + spec/www.example.jp/httpd_spec.rb + spec/spec_helper.rb + Rakefile spec/www.example.jp/httpd_spec.rb がサンプルテストコードで、こんな感じになって
サーバ管理を一元化。ステータス管理もできる·とりぐらふ MOONGIFT
とりぐらふは複数のサーバ情報を一元的に管理し、その運用状態もモニタリングできるソフトウェアです。 Webサービスが大きくなっていくのに従って、サーバの台数も増えていきます。そうしたサーバ群の管理については企業独自の取り組みがいろいろ行われていますが、オープンソースとして公開されたのがとりぐらふです。 トップページです。GitHubのアカウント認証でログインできます。 アクティビティです。ログも確認できます。 提供しているサービスの一覧。 編集できます。MuninのURLを設定するようになっています。 ロールの設定です。 ホストの一覧です。 ホストの詳細画面です。 とりぐらふは複数のサーバのステータス、提供しているサービスを一つの画面で管理できるソフトウェアです。デプロイ対象のホスト管理も行い、Capistranoなどと連携します。一定数以上のサーバ管理を行うようになったら立ち上げたいソフト
複数のサーバから一斉にファイルを収集するのにpslurpが便利 - Glide Note
以前、ブログに書いて以来、活用しているpsshとpscpなんですが、 付属コマンドのpslurpについてはすっかり忘れて全く利用していなかったんですが、 同僚の刺身さんが結構活用しているというのを聞いて、改めて使ってみると大変便利！ Parallel sshで複数のホストへ同時にコマンドを実行する | Glide Note - グライドノート 環境はSL6.1です。 pslurpの使いどころ 複数のサーバからaccess.logなどのログ、my.cnfといった設定ファイルなどの同名ファイルを持ってくる場合 DNSラウンドロビンや、ロードバランサを利用していてアクセスログが分散している場合 通常何も考えずscpとかで持ってくるとファイルが上書きされてしまうので、 ホスト毎にファイルを分けて管理したい場合にpslurpが活躍します。 pipを利用してpsshの導入 2012年なんでeasy_i
ファーストサーバ最終報告書、ベテラン担当者のマニュアル無視を黙認
ヤフー子会社のファーストサーバは2012年7月31日、6月20日に発生した大規模障害（関連記事）についての調査報告書（最終報告書）を公表した（写真）。報告書は、ファーストサーバに利害関係のない3人の委員による「第三者調査委員会」（関連記事）が作成した。同社Webサイトに「要約版」を掲載している。 報告書は調査対象とする事故を、6月20日に発生した「第1事故」と、第1事故で消失したデータが想定外の場所に復元された「第2事故」（関連記事）の2つとしている。 1人だけ自作プログラムでメンテナンス 報告書は、第1事故の事実関係について次のように言及している。ファーストサーバではシステム変更を実行する際、社内マニュアルに沿って実行することになっており、第1事故の原因となったシステム変更の担当者（A氏）以外は社内マニュアルに従っていた。 ところが、A氏だけはマニュアルに従わず、自作の「更新プログラム」
サーバのディスクの話
sugipooh @sugipooh 日本にRAIDという言葉が無いころからストレージ障害の近くに居る。 すぐにデータが消えるMO、動いているときに「こつん」とたたくと古い データを消しても平気に動くHDD、それを守るためのRAIDのいい加減さ。 どうしてストレージ障害が起きるか？根本を知らない人が多すぎる。 2012-01-08 02:05:03 sugipooh @sugipooh RAID5コントローラを市場で初めて多数売った今は無いMylexへ研修に 行かしてもらった。そのときRAID5でデータが無くなる条件を聞いた。 「簡単に飛ぶ（驚）」。その10年後 日本の会社がその簡単に飛ぶ条件で 多量にRAIDを売っている。おかげでデータ復旧会社が繁盛している。 2012-01-08 02:08:32 sugipooh @sugipooh 「簡単にデータが飛ぶ」RAID5でビジネスを辞めた
大規模ソーシャルゲーム「ドラゴンコレクション」運営の最前線で得られたノウハウ ～チューニングと運用、18のポイント～
11月25日、「mobidec 2011」においてコナミデジタルエンタテインメントのスタジオITセンター長である正延光弘氏によるセッション「大ヒットSNSゲーム『ドラゴンコレクション』を支えるコナミのクラウド技術の活用」が行われました。 ドラゴンコレクションは、GREEで提供されている携帯電話向けのカードゲームタイプのRPG。プレイヤーは、エリアごとにある複数のクエストをクリアしていき、モンスターカードや「秘宝」を手に入れ、さらに「ドラゴンカード」を集めていきます。また、ほかのプレイヤーとバトルすることでも秘宝を入手できるというSNS要素も取り入れられていました。2010年9月のサービス開始後、順調にプレイヤー数を伸ばし、現在では登録人数が500万人を超えています。 サービス開始当初は社内でサーバを構築し、フロントエンドに6台のサーバ、バックエンドに3台のデータベースサーバ、そしてロードバ
はてなの脱「自作サーバー」宣言から「さくらのクラウド」の未来まで はてな×さくら座談会2011夏 - はてなニュース
2011年夏、はてなは自社サーバー群の保守運用を、自社管理から「さくらインターネット」への業務委託に切り替えました。はてなが自作サーバーの自主運用から大規模データセンターへのアウトソースに切り替えた理由や、さくらインターネットが2011年11月にサービス開始を予定している「さくらのクラウド」について、さくらインターネットの田中邦裕社長、はてな最高技術責任者（CTO）の田中慎司（id:stanaka）、はてなエンジニアの吉田晃典（id:marqs）が語り合いました。 （※この記事は、さくらインターネットの提供によるPR記事です） クラウドサーバーはIaaS型のさくらのクラウド http://ishikari.sakura.ad.jp/ http://ishikari.sakura.ne.jp/blog/ ■ はてな、脱「自作サーバー」宣言の理由 stanaka この度はてなは、さくらインター
5分でできるサーバ死活監視 - カイワレの大冒険 Third
VPSとか新サーバ建てたときにすぐ監視したいんだけど、そういうのをすぐ監視できる環境って作ってないんだよねっていう人にお勧めの方法を。 監視専用サーバとかないし！ ちっさな環境いじってたりするとわりとあるかもしれない。MRTGとかCactiとかMuninとかCloudForecastとかZabbixとかとかとかとかとかとか、使ってる場合はそこに新サーバを追加して、監 視対象にすればいいんだけど、そういうの入れてないし、なんかrrdtoolって色々難しくて、でも監視したいんですけどっていう人いるかもしれない。そもそも監視ソフトウェアじゃないのが一部含まれてるとか(ry 監視するまでに疲れちゃったり。 そんなときに便利なスクリプト なんか手軽にできるものあるんじゃねと探したときに、見つけたのがこれ。 奥さん（@kazuho）さん作成「cronlog」！ 使い方は簡単。奥さんがこうおっしゃってま
今春サーバを触っていくのにびくびくしてる人が1週間ですべき7のこと - カイワレの大冒険 Third
今春“プロ”グラマーになる人が、あと1週間ですべき7のこと | Act as Professionalや2011-03-27といったエントリがあって、自分でも書いてみたかったので書いてみる。 時間はない。されど必要最低限のことは押さえられるはず 今春入社する人でエンジニア職などに就くことが決まっているんだけど、サーバ触れることになってびくびくしてる人もいるかもしれない。 覚えられることも時間も限られているけど、これだけは覚えて欲しいってものがあるので、あくまで主観的な判断で抜粋してみる。 1. 何よりもまずログイン DCにあるサーバでも、クラウドでも、まずログインできなきゃ始まらない。ただ、使うマシンもWindowsなのかMacなのか分からないので、まずそこを押さえる。 Windowsなら「putty」や「TeraTerm」があるし、Macだったらデフォルトで「ターミナル」を立ち上げればよ
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
小悪魔女子大生のサーバエンジニア日記
ECC版SSL証明書インストール体験記その4 02.08.13 / 未分類 / Author: aico / Comments: (0) では、いよいよ発行されたECC証明書をインストールしましょう！ 実はECC版SSL証明書は現在、ブラウザ・OSによっては対応していないものも多いので、 対応していないものはRSAの証明書を読むように、ECCとRSAのハイブリッド構成をすることが出来ます。 そしてなんと、ECCの証明書を申請するとRSAの証明書も一緒にもらうことが出来ます(ベリサインさん太っ腹！) なので今回はECCとRSAのハイブリッド構成を組みつつ証明書のインストールを行います！ まずはベリサインのサイトで中間証明書を確認しましょう。 発行されたCRT、中間証明書、秘密鍵は必ず対になっている必要があります。 対になっていないとエラーになってしまいます。。 小悪魔ブログは最初、中間証明書
これがWikipediaの裏側、知られざる大規模システムの実態「Wikipedia / MediaWiki におけるシステム運用」
Wikipediaといえば世界で第5位の訪問者数を誇る巨大サイトですが、システム運営に携わる人間は世界でわずか6人、しかもこれはボランティア込みという恐るべき少人数で、第4位のFacebookのサーバ数が3万台を超えているのに対して、Wikipediaはわずか350台で運用している……などというような感じで、知られざる今のWikipediaの実態が「KOF2010」にて本日行われた講演「Wikipedia / MediaWiki におけるシステム運用」で明かされました。 登壇したのはWikipediaを運営するWikimedia財団のエンジニアであるRyan Lane氏で、100席ある座席は満席になり、隣の中継の部屋まで人があふれているほどの盛況っぷりで、語られる内容もなかなか参考になることが多く、今後のGIGAZINEサーバにも活かせそうな内容でした。 というわけで、「Wikipedia
インフラエンジニアがSegmentation fault をなんとか治してみる - メモとかそんな感じなやつ
普段Webサーバを運用していて、めんどくさいトラブルのひとつに「Segmentation fault」があります。 あれー？なんか500エラーがでるなーなんて思ってログを見るとSegmentation faultになってるときは死にたくなります。 そもそもSegmentation faultはメモリ上にあるデータに対して不正が行われたときに起こるもので、 インフラエンジニアにとってはなかなか手がだせないところでもあります。 それでもなんとかして治さないといけないわけなので せめてどのプログラムが悪さしてるかどうかぐらいは調べ上げてみます。 apacheでのログ apache + mod_perl での環境です。 こんな感じでエラーがでます。 #tail error_log [notice] child pid 26028 exit signal Segmentation fault (11
自分のサーバの性能を知っておく - tokuhirom's blog
http://github.com/kazuho/manymanythreads ↑kazuhoさんがCで書いたエコーサーバーと、そのベンチマークツールによって、自分のサーバでどんぐらいのQPSがでるのかがわかる。 たとえば自分のマシン(SC440)だと ./testechoclient -c 1 -n 1000000 -f -p 5050で、 77906.624081 reqs./sec. (1000000 in 12.835879 seconds)ぐらいでる。 一番単純なエコーサーバーをうごかしたときの性能を把握しておくことによって、どのぐらいの速度がでてしかるべきなのかが把握できるようになるという。 【追記】 ここで知った echo server の限界性能をもとに、その後、自分がなにかサーバ等を書いた場合に最適化したらどのぐらいの速度がでるかを予測できる(経験が必要だとおもうけど)
Kazuho@Cybozu Labs: サーバメンテナンス中にエラー画面を返す方法
« Pathtraq サービス中断のお知らせ | メイン | Japanize と Pathtraq が Firefox 3 Beta 1 に対応しました » 2007年11月18日 サーバメンテナンス中にエラー画面を返す方法 サービスのメンテナンス中など、ウェブサーバ全体で 503500 エラーを返したいようなケースがあると思うのですが、その場合どうすればいいのでしょう。ちょっとググってみたけど分からなかったので自分で考えてみました。 ErrorDocument 503500 "Sorry. The service is under maintenance." RedirectMatch 503500 .* とりあえずこんな感じでいいみたい。RedirectMatch 等の設定ディレクティブで 300 番台以外のステータスコードを指定できることを今回初めて知りました。 (参考: mod_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Simple Cloud Infrastructure for Developers | DigitalOcean