サーバの負荷テストのための、何百万ものHTTPリクエストを発生させる方法 | POSTD
(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ
Go製サーバーを開発・運用して〜ピクシブ新広告配信サーバー〜 // Speaker Deck
キャリアを充実させる『カギ』に！PR TIMES CTO金子達哉から学ぶアウトプット術 / output_method
AWSガチャは下手なチューニングよりも効果が出る？
Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi
開発環境のデータをできるだけ本番に近づける - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 今回はクックパッドの開発環境構成、特に開発用データベースの構成についてご紹介します。 開発環境の構成 クックパッドのシステム環境は以下のようなフェイズに分かれています。 ※ これはcookpad.comの構成で、サブシステムや個別のサービスはその規模や特性に応じて構成が異なります。 development 開発者が実際に開発を行う環境です。クックパッドでは仮想環境は用いず、手元のマシンでRailsアプリケーションを動かして開発を行っています。 データベースはローカルではなく、開発者全体で共通の開発用データベースに接続しています。 test 手元でテストを実行する場合は、ローカルマシンのデータベースを利用します。CI（rrrspec）などの場合も同様で、テスト実行サーバーのデータベースが利用されます。 staging stagingといえば準本番環境として、本
さくらVPSでLXCを使って安価に複数台構成を実現する - orangain flavor
2013年6月7日 22:04更新： Upstartのデフォルトの設定ファイルを書き換えない方法に変更しました。hitoさんありがとうございます。 lxcなどのバージョンを記載しました。 はじめに Chefを使っていると、役割やサービスごとに環境を分離したくなります。 しかし、個人レベルで大してトラフィックがない段階で、サービスごとに仮想サーバーを借りていてはお金が足りません。 そこで、安価なVPS上でLinux Container (LXC) を使うことで、複数のサーバーを作ります。 スケールしたくなったときは、コンテナを潰して、新しく仮想サーバーを借りてChefで同様の設定をすれば手軽にスケールできると考えています。 Heroku使えば？と言われるかもしれませんが、色々なミドルウェアを利用したり、バックグラウンドで処理をしようとすると、たちまちお金がかかるので、VPSをやりくりして遊び
入門Ansibleを出版しました — そこはかとなく書くよん。 ドキュメント
入門Ansibleを出版しました¶ この度「 入門 Ansible 」を、Amazonにて出版致しました。 今までAnsibleに関する日本語の本はありませんでしたが、Ansibleの入門書的な位置づけとして、まずこれを読めば分かる、ということを目指して執筆しました。 本書を執筆するにあたり、レビュー頂いた方々に感謝致します。 内容はちょっと長いですが、以下の通りです。 はじめに Ansibleの特徴 Ansibleはシンプル ChefやPuppetとの違い Ansibleは "Better Shell Script" Ansibleを使ってみよう インストール inventoryファイル モジュール (module) playbookを作ってみよう YAMLの文法 playbookを書いてみる playbookの解説 task handler よく使うモジュール 複雑なplaybookを
Ansibleを使って誰でも簡単安全にサーバ構築できる仕組みを作る - (ﾟ∀ﾟ)o彡 sasata299's blog
2014年08月04日11:11 インフラ Ansibleを使って誰でも簡単安全にサーバ構築できる仕組みを作る Ansible って何なの？ サーバに対してミドルウェアのインストールや設定等の環境構築を行うことをプロビジョニングと言いますが、その作業を自動化させるためのツールです。プロビジョニングを手動で行うと、手間も掛かるし、どうしてもミスが起こりえます。 その点、Ansible のようなツールを使えば、コマンド一発でプロビジョニングが走り、さらに冪等性（何度実行しても同じ結果になる）も確保されるため、誰でも簡単安全にサーバ構築が出来るのです。 同様のことを行うツールとして、Chef や Puppet がありますが、Ansible はそれらの中でもシンプルなことが特徴です。Chef は以前使ってみようと思い触ってみたのですが、覚えることが多かったりして挫折してしまった。。Ansible
Sensuを使って自由度の高い監視システムの構築を行う方法
SensuとはSensuはhttp://sensuapp.org/で公開されているオープンソース(MITライセンス)のモニタリングフレームワークです。 特徴以下のような特徴があります（公式サイトの記述を整理） シンプルで融通が効き拡張性があるモニタリングフレームワークエージェント、メッセージバス、イベントプロセッサーの機能を提供要件にあわせて他のツールとの組み合わせが可能クラウドを意識して開発自動でクライアント(監視対象）を登録コミュニティが活発RubyのEventMachineを使って作られているコードはGitHubでホストされ、テストコードは高いカバレージ。TravisCIで継続的インテグレーションを実施Nagiosのプラグインを再利用可能設定はすべてJSONファイルで行うRabbitMQを使ったメッセージ型のアーキテクチャーオムニバスインストーラーを提供個人的な見解としては、Sens
Chef 11 での client/server/knife のセットアップ手順(+α) - 元RX-7乗りの適当な日々
遅れながら、Chefの新しい11系のバージョンを触ってみました。 つまづいた途中経過を含めて、セットアップのログや動きで気付いた事を簡単に残しておきます。 尚、今回使ってみた実行環境は、CentOSの6系です(Linux)。 結論から申し上げますと、Chefの新しいバージョンは、サーバのセットアップが物凄く楽でした。 旧来のバージョンでもUbuntuはそこそこ楽でしたが、CentOSの面倒くささと言ったら、んもう。 インストールパッケージの入手先 最近は、下記のChef本家となるOpscodeのサイトから、client/serverともインストーラ(各OSでのパッケージ)をダウンロードできるようになっています。 Chef Downloads Clientのインストール 上記サイトからパッケージをダウンロードしてインストールしてもよいのですが、Linuxであれば curl -L https:
GREEが悩むNode.jsの問題を考えるヒント - ぼちぼち日記
先日 GREEを支える大規模インフラテクノロジー」-GREE Platform Summer Conference 2012 という記事が公開され、GREEのCTOの藤本さんが、 javascriptをサーバーサイドでも使うケースが多くなってきていて、必然的にnode.jsを使うことになるが、大きく３つの問題がある。 ひたすらすごい勢いでバージョンアップしているので安定しない。コストを払ってついていく覚悟を持って取り組んでいる。 メモリリークがあるので、サーバを起動しっぱなしにするとメモリが食いつぶされる。 コードをデプロイしても再起動しないと読み込まれない。 （中略) これで絶対大丈夫という解決策がなくて、node.jsで一番悩んでいる。これでバッチリ解決するというものがあれば、是非教えて欲しい。 といった話が掲載されていました。 GREEさんに限らず一般的に Node に対して同じ問題
月額10円～でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス（AWS）
たとえばこんな使い方 画像と HTML ファイルを中心としたウェブサイトなら、Amazon S3 で充分に活用できるから、使い道も広がります。 急ぎのウェブサイト公開が必要となる場合も多いキャンペーンサイトも、Amazon S3 なら数分でアカウント作成、コンテンツの公開も 10 分程度で完了します。しかも契約期間の縛りもないため、すぐはじめられて、キャンペーン終了後、必要がなくなったその時点で終了することも可能です。 詳しくはこちら » 法人ウェブサイトのデータ損失は絶対に避けたいものです。米国の政府機関をはじめエンタープライズ企業様も利用する Amazon S3 は、複数のデータセンターでお客様のウェブサイトデータを保管。99.99 % の可用性と、99.999999999 % の堅牢性でお客様のウェブサイトを運営することができます。 もちろん万全を期すために、別のリージョン（国）の
Dropbox のスケールとか
Python なサービス みんな大好き Dropbox のスケールとかメモ。以下のページ辺りからピックアップ。Parted? みたいなので、続編がでたら追記するかも。 Scaling lessons learned at Dropbox, part 1 (comment) Dropbox - Startup Lessons Learned (slideshare) Dropbox -Yコンビネーターが生んだスタートアップの軌跡と未来 - スケール関係ないですが、2006 年当時はオンラインストレージサービスがいっぱいあったようで、VC から資金調達したときのやり取りがおもしろい VC "クラウドストレージサービスなんて腐るほどある" Drew "なにか使ってるのありますか？" VC "NO" Drew "..." 完璧で、スケーラブルで、クロスプラットフォームなクラウドストレージ！当時、プ
［速報］Googleが「Google Compute Engine」発表！ IaaS型クラウドでAmazonクラウド対抗へ。Google I/O 2012
［速報］Googleが「Google Compute Engine」発表！ IaaS型クラウドでAmazonクラウド対抗へ。Google I/O 2012 Googleは現在サンフランシスコで開催中のイベント「Google I/O」において、IaaS型クラウドの「Google Comute Engine」を発表しました。 これまでGoogleはクラウド上でPythonやJavaを実行できる「Google App Engine」を提供してきましたが、新しい「Google Compute Engine」はLinux仮想マシンをオンデマンドで提供するIaaS型のクラウドです。ストレージサービスとなる「Google Cloud Storage」も発表されました。 Google I/OでのGoogle Compute Engine発表 GoogleのSVP Technical Infrastruct
Node.js 0.8.0リリース、I/O性能の向上や多くの新機能実装などが行われる | OSDN Magazine
6月26日、JavaScriptアプリケーションプラットフォーム「Node.js」の最新版「Node.js 0.8.0」がリリースされた。従来の安定版であったバージョン0.6系に代わる新たな安定版という位置付けで、性能が大きく改善しているほか、多くの新機能が追加されている。 Node.jsはGoogle Chromeで採用されているJavaScript実行環境「V8」をベースとするJavaScriptアプリケーションプラットフォーム。JavaScriptコードを実行するランタイムと、各種I/Oやネットワークアクセスといった機能を提供するライブラリから構成されている。ネットワークソケットの待ち受けやファイルアクセスといった処理を容易にシングルスレッドで非同期実行できるという特徴を持ち、近年注目を浴びている。 Node.js 0.8.0は新たな安定版ということで、多くの改良が加えられている。そ
ファーストサーバーがデータ初期化の大惨事！被害者の状況と損害賠償（約款）について調べてみた。 - すしぱくの楽しければいいのです。
公開日：2012年6月21日 カテゴリ：アレな話題 ホームページが障害で表示されないとか、アクセス過多で重たすぎる程度なら許容の範囲ですけども、サーバーのデータが初期化されましたという、Web屋としては笑えない、むしろ笑うしかない状況が発生しましたよ。 それも稼働率100％保証のファーストサーバーさんというのも驚きでございます。 今回サーバーデータ初期化事故に遭遇してしまった X_urara_X さんに状況を取材させていただきながら、損害の保証はされるのかどうか、規約（約款）を確認してみました。 【2012.6.25追記】 中間報告が掲載されたので記事を書きました。ファーストサーバーの事故原因がほぼ人災だった。その概要と今後についてまとめてみました。｜楽しければいいのです。 信頼のファーストサーバーがまさかの・・・ Web屋にとって顔面蒼白な事故（障害）がございましたねー。 ファーストサー
Upcoming SPDY support details
Hi all, I'm developing SPDY (draft 2) support for Tornado, a Python web framework that often uses nginx as a reverse proxy. AFAICT, nginx will roll out its own SPDY support in 1.3, to be released at the end of May or in early June. I'd like Tornado to complement nginx's design, but I can't find any details of its SPDY implementation online or in svn, so I'll ask a few questions here. 1. To avoid t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ngrok - secure introspectable tunnels to localhost
ニコニコ生放送の配信基盤改善
ご注文は監視自動化ですか？
CloudStackをMuninで監視・序 ～リソースをAPI経由で監視してみる話～
