約60時間を非常用電源設備で乗り切った石狩データセンターの奇跡
2018年9月6日に北海道を襲った震災により、停電状態に陥ったさくらインターネットの石狩データセンターに対し、9月8日ようやく電力供給が再開された。想定を超えた約60時間を非常用電源設備で乗り切り、インフラ事業者としての矜持を見せた石狩データセンターの「奇跡」について、改めてきちんと説明していきたいと思う。 卓越したオペレーション能力で「想定外」を「想定内」に 2011年11月に開設された石狩データセンターは、数多くのサーバーを収容するさくらインターネットの基幹データセンターになる。開設当時はソーシャルゲームの普及でサーバーの需要がうなぎ登りだったほか、環境に配慮したエコなデータセンターが求められていた。こうしたニーズに対応する石狩データセンターは、寒冷地のメリットを活かした外気冷却と東京ドーム1個分に相当する広大な敷地を用いたスケーラビリティが大きな売りだった。私も開設時と増設時で2回ほ
ネットワークでなぜ遅延が生じるのか
5. プロセス遅延 (Processing Delay) パケット 出⼒先決定 ヘッダ書き換え フィルタリング QoS 統計情報取得 カプセル化 筐体内転送 • 伝送装置 • メディアコンバータ • スイッチ • ルータ • NAT装置 • 仮想化装置, IPsec, etc • 通信機器の⼊⼒インターフェイスで受信して 出⼒インターフェイスのキューへ送るまでにかかる時間 出⼒ キュー パケット ルータの例 暗号化 6. キューイング遅延 (Queueing Delay) • 通信機器の出⼒インターフェイスキューに⼊ってから 出⼒処理を⾏なうまでにかかる時間 出⼒キュー • 出⼒処理より速いペースでパケットが届くとキュー待ちが増える • 広帯域回線から狭帯域回線への転送、⼀時的な輻輳 (バーストト ラフィック) などへの対応 優先制御 キューイング スケジューリング 7. シリアル化遅延
ハイパフォーマンスGaurun〜メルカリの大規模プッシュ配信を支えるミドルウェア〜 | メルカリエンジニアリング
SREチームのcubicdaiyaです。 今回は本ブログでも何度か紹介しているGaurunを利用したメルカリのプッシュ配信基盤とGaurunのパフォーマンスを最大化する方法について紹介します。 github.com 改めて紹介するとGaurunはスマホアプリ向けのプッシュ通知サーバです。APNsやGCMへのプッシュ通知処理をHTTP + JSONベースのAPIでラップして大量のプッシュ通知を素早く送信することができるのが特徴です。 メルカリのプッシュ配信基盤 メルカリのプッシュ配信基盤はnginxによるL7ロードバランサーとGaurunで構成されています。 APIサーバ（e.g. 商品の購入や発送等のイベント通知）やジョブワーカ、バッチ（e.g. キャンペーン等による一斉配信）からはGaurunが提供するHTTP + JSONベースのAPIを利用してiOSやAndroidの端末へのプッシュ
さらば自社サーバールーム！pixiv、白河データセンターに移る (1/2)
900万を超えるユーザー数を抱え、日本を代表するイラスト投稿SNSに育った「pixiv（ピクシブ）」。長らくサービスを社屋の自作サーバーとIDCフロンティアの新宿データセンターで運用していたpixivのインフラを、新たに白河データセンターにまで拡げた背景をピクシブの方々に聞いた。 開始1週間後にサーバーを落とす イラスト投稿に特化したユニークなSNSであるpixivは、イラスト好きなプログラマーである上谷隆宏氏の思いから生まれた。ピクシブ 代表取締役社長の片桐孝憲氏は、「上谷が、イラストを描いている人同士が気軽に交流できるSNSとギャラリーを混ぜたようなサービスを作りたいと話していた。正直、特定のユーザーに特化したSNSでうまくいっている事例を知らなかったので、特定の分野に限定したものはあまり受けないと思っていたが、pixivという名前はカッコイイと思った（笑）」と振り返る。 こうして生ま
今さら聞けない Immutable Infrastructure - 昼メシ物語
Immutable （不変な） Infrastructure は、サーバを一度セットアップしたら二度と変更を加えないという運用スタイルのことを指します。 クラウド環境では、必要に応じてすぐにサーバを用意し、不要になったら簡単に破棄することができます。Immutable Infrastructure は、このようなクラウドの特性を活かす運用スタイルとして、注目されつつあります。 背景 Immutable Infrastructure が提唱された背景にある技術として、 Auto Scaling や Blue-Green Deployment*1 などがあります。 Auto Scaling Auto Scaling は、負荷に応じて自動的にサーバ台数を増減させる技術で、 AWS では標準で提供されています。常に必要な台数だけ起動していればいいので、コスト削減になるというものです。 Auto S
PHPカンファレンス2013でpixivのインフラについて発表してきました - pixiv engineering blog
去年と比べて体重を8kb・・・間違えました8kg落としたbokkoです。目標体重まであとさらに8kgとなりました。道は険しく遠いです。 先週末の9/14(土)に東京都大田区産業プラザ(PiO)にて開催されたPHPカンファレンス2013にスピーカーとして参加してきました。以下はその資料になります。 inside pixiv’s infrastructure〜application cluster side〜 やや駆け足でしたが、トークではpixivの開発体制、アプリケーション基盤でのPHPの使われ方、データストア・キャッシュ戦略、 pixiv内部で利用されているRESTful APIの仕組みについてお話させていただきました。 今回は「application cluster side」ということでアプリケーション基盤の話がメインでしたが、 機会があれば「contents delivery cl
アキバ地下に埋設された高速インフラの解放実験が18日からスタート（追記あり） - 週刊アスキー
↑今回予定している社会実験のエリア。 この試みは、国土交通省関東地方整備局と、国土交通省、東京都建設局、東京地下鉄、NTTドコモ、KDDI、ソフトバンクモバイルが参加する検討組織“通信環境整備社会実験協議会”によって進められてきたもの。 国道には、もともと道路管理用の光ケーブルが敷設され、情報表示版や雨量計といった道路管理用の機器との通信用として使われている。東京23区内だけでも166キロメートルほどの長さになるが、まだ回線に余裕があるため有効活用しようといった提案が、東日本大震災を機になされたのだ。 ↑昌平橋付近に設置されたアクセスポイント。歩道から約3メートルの高さに、街灯の電源を利用して設置された。 今回、実験区間として設定された中央通りから入る国道17号線沿いは、12時間で3万人程度が通行する道路で、東日本大震災の夜には不安定なネット環境で断片的な情報を得ながら、帰宅難民が歩いた道
データ消失:５６９８件の復旧不可能 ヤフー子会社－ 毎日ｊｐ(毎日新聞)
レンタルサーバーを提供するヤフーの子会社「ファーストサーバ」社（大阪市）が、顧客から預かっていたホームページ（ＨＰ）やメールのデータを大量に消失させた問題で、同社は２５日、データが消失した顧客数が５６９８件に上り、データ復旧は不可能であることを明らかにした。国内では最大規模のトラブル。同社は被害を被った顧客に対し、顧客がこれまで支払った料金を上限に損害賠償に応じるとの方針も明らかにしたが、信頼してデータを預けた顧客の間では困惑が広がっている。 レンタルサーバーは、ＨＰなどのデータの記録や情報処理を、大型コンピューターを持つ業者が代行するサービス。保守点検の手間を省けることや、データ消失の危険性が減ることから、企業や官公庁、個人にも急速に利用が広がっており、同社も約５万件の顧客を抱えている。同社によると、トラブルは２０日午後５時ごろ発生。一部のサーバーの保守作業を実施した際、作業に使用したプ
ファーストサーバー障害によるユーザーの声・・・
icchan @icchan0000 @firstserver ホスティングサービスに不具合が出ているようですが、サポートのフリーダイヤルは混雑していて繋がりません。こういう時こそ公式アカウントで状況の報告などしていただきたいのですが・・・ 2012-06-20 18:03:07
DC構築するときにラック内で電源を冗長化してUPS入れておいたら
なんか、あったなー。 DC構築するときにラック内で電源を冗長化してUPS 入れておいたら DCの人にデーターセンターレベルで電源が冗長化されているので、停電はありまえん。不要ですとかいわれて。 社内のエンジニアに割と白い目で見られたんだよね・・・ １か月後に、DCの設備点検で冗長化電源の切り替えテストに見事不具合が出て ワンフロアまるごと停電してたけど。 うん、２重化どころか多重化している。ガチ系サービスのデーターセンターを構築している人（設備の建物ごと）が、当たり前にラック内やってたから それを見て育っているから 万が一のことは起き得る。って見習ったんだよね。 でも、そういうのって 嗤われるんだ。この国だと。たまたま証明されたけど そうじゃなきゃ、笑いものだったんだぜ。 先輩がいるって重要だよな ってはなしと 迷信だと思っても理由を考えて真似をすることは重要だと思うよ。 そして、１００％
Pinterest のスケール
V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア
周波数オークション問題＝ソフトバンク問題 - michikaifu’s diary
こちとらが感謝祭で苦手な料理に忙殺されている間に、日本では3.9G周波数オークション（700/900MHz）が「仕分け」で復活したらしい。日本人らしくww、周回遅れでこの話に反応しておく。 政策仕分けで葬られた「電波社会主義」 市場原理を導入しないと通信インフラがパンクする(1/3) | JBpress(日本ビジネスプレス) 震災復興財源問題もあり、いよいよ背に腹は代えられない民主党が、周波数に目をつけたということではないかと思う。それでも本当に実現するのかどうか、私には今だに信じられないが（どうせ今騒いでも実現は10年後だと思っていたので）、ちょっとこれまでと流れが変わってきたらしい。 原住民のたくさんいる貴重な周波数帯なので原住民が立ち退きを拒否するとか、免許料の負担がユーザーに転嫁されるとか、なぜ総務省が抵抗するとか、いろいろと議論があったわけだが、かなりの部分が公になって、「テクニ
「当たり前」が崩れる時...インフラを失ったその先に
「当たり前」が崩れる時...インフラを失ったその先に 「人間が生活して行く上で必要なものというのは、実は世の中にその基礎になるものは出そろっていて。それらがきちんとかみ合って発展し動いている限りは、問題なく誰もが生きていける。歯車から多少こぼれたとしても生きて行くことは出来ると思う。満足に生きることが出来るかは本人の資質と努力によるだろうけれど、最低現の部分は世の中の仕組みとやらが後押ししてくれるだろう。たぶんそれがインフラと呼ばれるものなのだと思う」 突然なんのことかと思われたでしょうが、これは高校の時に私が書いた一文です。いつにも増して読みづらくて申し訳ない(^^; 今回はインフラというものと...それが失われたその先の話についてです。 2011/06/05 「隠した言葉」を追記しました。 学生だった当時...通信インフラに興味を持った私は、音響カプラによる通信や海底ケーブルを使った海
Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側
クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
agilecatcloud.com
SETI@home開発者の新たな挑戦：今度はAndroid端末で
https://jp.techcrunch.com/2012/11/12/jp20121112gehirn-web-services/
「グーグル、6分間のサービス障害」が与えた影響
http://agilecatcloud.com/2011/11/25/%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%E3%81%AB%E3%82%88%E3%82%8A-os-%E3%81%AF%E6%AD%BB%E3%81%AB%E7%B5%B6%E3%81%88%E3%82%8B%EF%BC%88%E8%A6%81%E6%97%A8%EF%BC%89-cloud-cloudcomputing-jazug-jawsug-g/
省サーバ運用