インフラエンジニア、WEBサイト高負荷との戦いを振り返る - orangeitems’s diary
高負荷との戦い インフラエンジニアをやっているとどこかで遭遇する、高負荷との戦い。先日はシャープのECサイトが高負荷と戦っていると聞きました。 pc.watch.impress.co.jp シャープは、4月21日午前10時から開始した、自社生産の不織布マスク「MA-1050」の個人ユーザー向け販売において、販売開始直後から販売サイトにつながらない問題が発生したが、シャープでは、同社データセンターにおけるファイヤーウォール機能が原因の1つであるとの見方を明らかにした。 詳細については明らかにしていないが、予想を上回るアクセス数があったことで、不正アクセスによる攻撃と判断した可能性が高く、それにより、強制的にアクセスを遮断した結果、サイトにつながらないという状況に陥ったとみられる。 大昔、それこそ10年くらい前は、高負荷でサイトダウンしたときに、「おお、うちのサイトにそんなにアクセスが来てくれ
Webシステムアーキテクチャの地図を描く構想 - ゆううきブログ
この記事は第5回Webシステムアーキテクチャ研究会の予稿です。 はじめに Webサービスにおいては、スマートフォンの普及によるアクセス増加に対してスケーラビリティを持ち、個人向けだけでなく企業向けサービスの可用性の要求に耐えられるようなシステム設計が必要とされている。 さらに、Webサービスが人々の生活に浸透したために、Webサービス事業者はサービスを長期間運用することが当たり前となっている。 その間、新機能開発、ソフトウェアの実行効率化、セキュリティ向上などを目的に、システム管理者は自身が管理するソフトウェア群を更新しつづける必要がある。 このような多様な要求を満たすために、Webサービスを開発・運用するエンジニアには、OSやデータベース、ネットワーク、分散システム、プログラミング言語処理系などのコンピュータ工学における広範囲の基礎知識と、ミドルウェア、オペレーション自動化のためのソフト
初心者向けWEBアーキテクチャ入門 - masalibの日記
上記の図は、WEBアーキテクチャです。 新人などの場合はあまり経験がない人は、用語すら聞いたことない状態だと思います 全部理解する必要はないですが、googleの検索する時に参考になれば幸いです 会社の勉強会用（無給）に作った資料・・・めっちゃ時間かかった。 資料も公開しています 初心者向けWEBアーキテクチャ入門ver2018-07-23 - Google スライド （ダウンロードして修正もできます） DNS: 説明する前に前提 IPアドレスとは: ネットワークにつながっている機器はかならずIPアドレスが割り振られています IPアドレスとIPアドレスで通信することでデータをやり取りしています グローバルIPとローカルIPについて グローバルIPは世界中で重複がにあように管理されており、世界中の通信で利用されています ローカルIPは会社や家などで自由につかえるIPです ローカルIPのなかで
ウェブオペレーションエンジニアになるまでの思い出 - ゆううきブログ
書籍「ウェブオペレーション」の中で、「ウェブオペレーションは技芸であり科学ではない」*1という言葉がある。 実際、その通りだと思う。 しかし、技芸というのはどうやって学べばよいのか。 教科書のようなトップダウンな知識体系を構築しようと試みようとしても、どうしても特定の組織に依存したり、特定の技術スタックに依存してしまう。 現時点では、体系立てて学ぶというより、やはりボトムアップに学ぶしかないと考えている。 「ウェブオペレーション」の内容も、基本はストーリー仕立てのエッセイ集になっているのは、そういうことだろう。 Hatena Engineer Seminar #7では、もともとウェブオペレーションの学び方の話をしようと思っていたが、前述のような事情で、自分(id:y_uuki)の場合の学んできたことを例として挙げることにした。 ウェブオペレーションエンジニアの前提となるスキルセットの作り方
次世代Webカンファレンス「サーバーサイドパフォーマンス」レポート #nextwebconf | DevelopersIO
こんにちは、虎塚です。 10月18日(日)、次世代 Web カンファレンスへ行ってきました。イベントの趣旨は「「次世代 Web カンファレンス」を開催します - Block Rockin’ Codes」で公開されています。 最初のセッション「server_perf (サーバーサイドパフォーマンス)」に参加してメモを取ったので、共有します。 オーナー: @mirakuiさん クックパッドでインフラ担当 @xcirさん ゲーム屋さんでインフラ担当 @cubicdaiyaさん メルカリでインフラ担当 登壇者の紹介 mirakuiさん：サーバサイドパフォーマンスというセッションは、次世代Webの文脈では話題選びがむずかしい。サーバサイドアーキテクチャもモニタリングも別にセッションがあるので、Webのパフォーマンスの話に絞る必要があった。そんな話ができる方ということで、xcirさんとcubicdai
伊藤直也氏が語る、モダンなWebテクノロジーに共通する傾向とは？（前編） Chef、Docker、MicroservicesからReact、FRPまで。QCon TOkyo 2015
伊藤直也氏が語る、モダンなWebテクノロジーに共通する傾向とは？（前編） Chef、Docker、MicroservicesからReact、FRPまで。QCon TOkyo 2015 最新のITと関連技術をエンジニアの視点で掘り下げるイベント「QCon Tokyo 2015 Conference」が4月21日に都内で開催されました。 そのセッションの1つとしてKAIZEN platform Inc.の伊藤直也氏が行ったのが、「モダンWebシステム開発」と題して、最近のWebアプリケーションに関する技術に共通する傾向を探った講演です。 ChefやPuppetなどによるInfrastructre as CodeからImmutable Infrastructureなどのインフラ周りからReactなどのフロントエンドにまで共通する考え方とは何か、示唆に富むその内容をダイジェストで紹介します。 モダ
「Webエンジニアが知っておきたいインフラの基本」という書籍が発売されます！ - netmark.jp
突然ですが Webエンジニアが知っておきたいインフラの基本 ~インフラの設計から構成、監視、チューニングまで~ という本を書きました。 2014/12/27に発売予定です。ぜひ購入してください！そして年末年始に熟読してください！ぜひ！ ※2015/2/1頃にKindle版も出ました！ 1〜4章は特にインフラに触れたことがない方向けに基本的な内容を、5〜8章はそれだけでなくインフラ初級〜中級のISUCON決勝に残れなかったくらいの方まで広く読んでいただきたい内容になっています。 私はWebシステムの監視・障害対応という職業柄、再現性の高い方法論を言語化してつくるようにしてまして、本書にはそれをたっぷり詰め込みました。 ISUCONやtuningathonでコンスタントに短時間でそれなりの成績を出せてきたのはこの本に書いたような方法論が背景にあるんです。 この本に書いてあることをきちんと実践で
企業のWebサイトが用いるWebサーバーの日米比較 - Nothing ventured, nothing gained.
以前、日経225に含まれる企業が外向きのWebサイトに用いるWebサーバーの種類を調査し、このブログで公表していた。「定点観測」と評していたのだが、最後に調査を行ったのはもう5年前になる。 定点観測：日経225に含まれる会社が採用のWebサーバー 2009年夏編 - Nothing ventured, nothing gained. あまり変化がなかったのと、自分自身の興味が移ってしまったこともあり、止まってしまっていたのだが、今回久しぶりに調べてみた。 2014年版日経225に含まれる企業が採用のWebサーバー 前回までのブログでも書いているように、調査はHTTPレスポンスヘッダーの中のServerフィールドを見ているだけなので、必ずしも正しい結果とは限らない。あくまでも参考情報として見て欲しい。 以下が今回の結果だ。 前回（2009年7月）の結果が以下だ。 グラフだとわからないくらいの
2014年のウェブシステムアーキテクチャ - stanaka's blog
(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta
ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない - kazuhoのメモ置き場
タイトルは煽り入ってますが。 仮に動的ページを生成するのにかかる時間が1秒、そのうちデータベースやmemcached等リモートサーバへの問い合わせ時間を除くいたCPUの処理時間が0.1秒とする。また、ピークのリクエスト処理量は、平均の２倍とする。 そうすると、クアッドコアのアプリケーションサーバで処理できるリクエストは、 4 core * 10 reqs/sec * 86,400 sec/day * 30 day/mon / 2 = 51,840,000 reqs/mon と、約5,000万PV/月を１台で捌けることになる。 CPUが動いている時間は全処理時間の10倍と仮定したわけだから、アプリケーションサーバの最大同時接続数は 4 core * 10 = 40 程度あればいいことになる。実際には、安全係数を２倍かけて 80 とか。リクエストの処理に必要なメモリ量を 100MB とすると、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: [Web開発者のための]大規模サービス技術入門 ―データ構造、メモリ、OS、DB、サーバ/インフラ (WEB+DB PRESS plusシリーズ): 伊藤直也, 田中慎司: 本![Amazon.co.jp: [Web開発者のための]大規模サービス技術入門 ―データ構造、メモリ、OS、DB、サーバ/インフラ (WEB+DB PRESS plusシリーズ): 伊藤直也, 田中慎司: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/998c14d929b5ac55c6366da37d6fb6c89e33863f/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F51xlTEcCILL._SL500_.jpg)