仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術
仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術（1/2 ページ） 国内最大級のポータルサイト「Yahoo! JAPAN」をはじめ、ECサイト「Yahoo!ショッピング」やオークションサイト「ヤフオク!」など、コンシューマー向けWebサービスを数多く運営するヤフー。同社はこれらのサービスを裏で支えるシステム基盤として、大規模なプライベートクラウド環境を自社で構築・運用している。 ヤフーの奥村司さん（クラウドプラットフォーム本部 プライベートクラウドチーム リーダー）が、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」で明かしたところによると、その規模は、仮想サーバが約17万台、物理サーバが約9万台。物理サーバのうち2万台がIaaSの仮想化ハイパーバイザーとして使用されて
サーバの負荷テストのための、何百万ものHTTPリクエストを発生させる方法 | POSTD
(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ
小抜きで悪魔的! - 書評 - 小悪魔女子大生のサーバエンジニア日記 : 404 Blog Not Found
2011年01月23日14:00 カテゴリ書評/画評/品評iTech 小抜きで悪魔的! - 書評 - 小悪魔女子大生のサーバエンジニア日記 技術評論社池本様より献本御礼。 小悪魔女子大生のサーバエンジニア日記 aico / 株式会社ディレクターズ / 村井純監 なにこれすごい。 で、なにこの業界狭い。 「書評」にするか「紹介」にするかこれではぎりぎりの線になってしまうではないか。 こういう本が10年前にあったらなあ… 本書「小悪魔女子大生のサーバエンジニア日記」は、同名のブログを書籍化したもの。現時点においてネットワーク管理の本という点において 「高校生のための文章読本」pp.208 良い文章とは 自分にしか書けないことを だれが読んでもわかるように書いた文章 の二条件に最も合致するのが本書である。 本書がそうであることに関する証明は、すでに「原本」たるブログを見ていただければ明らかにもほ
『アメーバを支える自作サーバのいままでとこれから』
初めましての方は初めまして。知ってらっしゃる方はありがとうございます(※)。 アメーバでインフラエンジニアをしている桑野章弘と申します。id:akuwanoと言ったり、@kuwa_twでtwitterもやっています。 ※M.S.注...「桑野トラップ」でご存知の方、その節はどうも申し訳ありませんでした。 twitterではどうでもいいことかカレーの事をメインにつぶやいております。（って言ったら誰もフォローしませんよね、、、参加した勉強会の実況等もしています） 色々話したいことはあったりするのですが、今回は私の最初のエントリということもありまして「アメーバの自作サーバのこれまでとこれから」についてお話しさせていただければと思います。 え？キャッチーだからとかじゃ、、、ないですよ？ ■ミルフィーユサーバの紹介 、、、それでは、気を取り直して。 まず、現在アメーバで主に使われている自作サーバと言
ネットワークはシスコが最適…ではない？--日本HP、2011年は「固定概念を覆す」
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「日本の顧客は、“ネットワークにはCisco Systemsが最適”“ストレージはどのような組み合わせでも大差がない”といったような固定概念を持っている。日本HPでは、こうした固定概念を覆していきたい」--日本ヒューレット・パッカード（日本HP）は1月6日、2011年のサーバ製品事業の戦略について説明会を開催、同社 エンタープライズサーバー・ストレージ・ネットワーク事業統括 サーバーマーケティング統括本部 統括本部長 上原宏氏が、戦略の要は顧客の固定概念を覆すことにあるとした。 上原氏は、上記に挙げたネットワークやストレージに関する固定概念のみならず、ほかにも「Linuxは安価でUNIXは高価」「サーバ仕様の詳細カスタマイズは不可能」「
サーバとL2スイッチの接続を冗長化する設計の基本 - GeekFactory
インフラを設計する上で冗長化による信頼性向上は避けて通れない道です。サーバとL2スイッチの接続を冗長化する設計については意外と情報が少ないのでまとめてみました。変なこと書いてたらご指摘ください。 インフラ設計の基本は単一障害点（SPOF）を取り除くことです。構成要素のうち1つが故障してもサービスを維持できるように設計します。構成要素は以下のものが挙げられます： CPU マザーボード メモリ ローカルディスク 電源 FC-HBA NIC LANケーブル L2スイッチ ・・・ ただし、これらすべての故障に備えようとすると費用対効果が割に合わないので、ローカルディスクから下を冗長化する構成が一般的と思います。絶対に止まってはいけないサービスは別ですけどね。 冗長化の種類 サーバを冗長化するにはクラスタを組みます。クラスタはActive-ActiveとActive-Standby（HA）の二種類に
アメーバピグを支える２人のインフラエンジニアの実力｜【Tech総研】
サイバーエージェントのアバターコミュニティ「アメーバピグ」が好調だ。経営トップも期待する次の事業の柱。そのインフラを支えるのはたった2人のエンジニアだ。自社技術だからこそできるシステム改修や自作サーバーなど、その技術力を徹底取材した。 「今後の事業展開の一つは、『アメーバピグ』の強化。これは他にないサービスだと思っているので、現在この中で提供している釣りやカジノのようなソーシャルゲームをこれからもどんどん投入していきます」 ──Ｔｅｃｈ総研が行った2010年10月のインタビューに、サイバーエージェント・藤田晋社長はこう答えていた。 2009年2月にサービスを開始した「アメーバピグ」は、自分そっくりなアバターを使って遊べるコミュニティサービス。オープン後、さまざまなゲームやエリア（ユーザーが訪れることができる領域）などが追加されてきた。11月には「ピグドーム」という仮想広場でAKB48のライ
大規模インフラの監視システム | GREE Engineers' Blog
こんにちは。インフラチームの ebisawa です。 今回はグリーのインフラにおける各種機器の監視がどのように行われているのかご紹介させていただきたいと思います。一般にサーバの監視というと、システムダウンを検出するための死活監視を意味する場合と、ネットワークトラフィック等のモニタリングのことを意味する場合とがあります。今回の監視は特に後者についてのお話です。大規模なインフラの監視には、やはり特有の課題があります。 どんなツールを使っているのか グリーではサーバの各種リソース使用状況をモニタリングしてグラフ化するためのツールとして、Cacti を利用しています。Cacti は、大変有名なツールなので皆様ご存知かと思いますが、バックエンドの RRDtool で作成したグラフを閲覧するための使いやすいユーザーインターフェイスを備えています。 http://www.cacti.net/ ツールの使
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
小悪魔女子大生のサーバエンジニア日記
ECC版SSL証明書インストール体験記その4 02.08.13 / 未分類 / Author: aico / Comments: (0) では、いよいよ発行されたECC証明書をインストールしましょう！ 実はECC版SSL証明書は現在、ブラウザ・OSによっては対応していないものも多いので、 対応していないものはRSAの証明書を読むように、ECCとRSAのハイブリッド構成をすることが出来ます。 そしてなんと、ECCの証明書を申請するとRSAの証明書も一緒にもらうことが出来ます(ベリサインさん太っ腹！) なので今回はECCとRSAのハイブリッド構成を組みつつ証明書のインストールを行います！ まずはベリサインのサイトで中間証明書を確認しましょう。 発行されたCRT、中間証明書、秘密鍵は必ず対になっている必要があります。 対になっていないとエラーになってしまいます。。 小悪魔ブログは最初、中間証明書
ベニヤ板とDCのハイブリッド！ pixivインフラの今 － ＠IT
2010/07/21 ホームセンターに行けば9800円で買えそうなスチール製の“ラック”に、むき出しのマザーボード。うねうねとケーブルがラックの間を這（は）う。 「ラックに直接置くと通電しちゃうじゃないですか。だからラックに木片をくくりつけて、その上にマザーボードを載せているんですね。ただ、そうすると実は若干たわむんです、自重で……。なのでパーツの抜き差しではかなり嫌な思いをします」。 イラスト投稿サイトの「pixiv」（ピクシブ）でインフラの設計・運用を担当する上薗竜太氏がこう話すと、あまりの無手勝流ぶりに会場からは笑いが起こる。 「でも、これはまだ前のバージョンの運用でですね、3カ月前ぐらいからベニヤに変えました。これが新しいpixivを支えるラックです」 実物の写真がスクリーンに映し出されると会場には再び大きな笑いが起こった。「これによってマザーボードがたまわない。パーツの抜き差しで
TwitterがBitTorrentで高速にデプロイしている仕組みについて
Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「
スケールアウトからスケールアップへの回帰:Kenn's Clairvoyance
これを書こうと思ったキッカケは、奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」っていう、最近モヤモヤと感じていたことをうまく説明してくれてる記事をみたこと。 年始からちょくちょくサーバの運用環境を物色しながら考えていたことと見事にシンクロした。だいたいの要旨はTwitterのほうでも書いたのだけれど。 ムーアの法則でどんどん向上する技術にくらべ、人間のキャパシティは変化しない定数項として考えていい。だとすれば、そうやって向上する性能を、人間の労力を削減する方向で使えてはじめて、「技術が競争優位性を生む」といえるだけの破壊的な価値がでてくるということになる。 では、現在の技術トレンドを活用することで減らせる「人間の労力」とは何か。 それは、過去10年あまりで定着した、これまでの（そして今なお）Webアプリケーションの定番構成である、「ロードバランサ、ア
イベントレポート（食べログ＆クックパッド共催勉強会） - クックパッド開発者ブログ
こんにちは。クックパッドでイベント運営を担当しているスミです。 去る12/17、食べログさんと共催で勉強会を行いました。食べログさん、クックパッドのエンジニアがそれぞれ3名ずつ、お集まり頂いた約30名のエンジニアの皆さまの前でプレゼンを行いました。 インフラのお話をテーマにした今回。会場の皆さまからたくさんのご質問を頂き、とても熱い時間を過ごさせて頂きました。ご来場頂いた皆さま、どうもありがとうございました。 クックパッドのエンジニアが使用した資料を公開いたしますので、是非ご覧くださいませ！ ・クックパッドのスケーリング（高田悟史） [slideshare id=2756725&doc=20091214tabelog-key-091221024948-phpapp01] ・800万人の"食べたい"をHadoopで分散処理（佐々木達也） [slideshare id=2735999&doc=
はてな、アメーバ、pixivら、注目企業の自作サーバを一挙公開
11月25日、自作のサーバを運用する企業の担当者がそのメリット、デメリット、ノウハウなどなどを講演するイベント「自作サーバカンファレンス」が都内で開催された。 イベントを企画したはてな執行役員 博士の田中慎司氏は、「はてなは創立当初からサーバを自作しているが、自作サーバは安い、早い、うまい。いまの時代に合っている」と自作サーバにかなり入れ込んでいる様子。 続いて、はてな、ピクシブ、サイバーエージェント、Cerevo、チームラボの5社が自社の手作りサーバについて熱い想いを語った。各社の自作サーバの写真とともにスペックを紹介する。 11月25日、自作のサーバを運用する企業の担当者がそのメリット、デメリット、ノウハウなどなどを講演するイベント「自作サーバカンファレンス」が都内で開催された。 イベントを企画したはてな執行役員 博士の田中慎司氏は、「はてなは創立当初からサーバを自作しているが、自作サ
自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
サーバは仮想化されるべきだが、データベースには気をつけろ － Publickey
StorageIOblog » Blog Archive » Should Everything Be Virtualized? The Server Storage IO Groupのアナリストが書いているブログ「StorageIOblog」に、「Should Everything Be Virtualized?」（すべては仮想化されるべきなのか？）というエントリがポストされました。 すべてのサーバ、I/O、ストレージは仮想化されるべきなのか？ という問いに答えるエントリになっています。 Unfortunately consolidation is commonly misunderstood to be the sole function or value proposition of server virtualization given its first wave focus.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新卒インフラエンジニア２年目
家整理したら出てきた. 今見ても強烈な広告…
【インタビュー】「小悪魔女子大生のサーバエンジニア」は絵を描くのが好きな女の子 