3000req / sec と戦う - だるろぐ
ざっくり概要 ピークで3000req / sec 毎分コンテンツ更新要求 コンテンツ更新の際は他所からデータをapi経由で受け取る コンテンツ更新にはTheSchwartzを使用 なコンテンツを色々してきたログ。 尚、ここに書く技術は大半が周囲のギークな方々にサポートしてもらったもので、僕自身が何かしたわけではない。残念すぎる。 構成 internet -> www(squid -> apache) -> app(memcached -> app) -> db フロントエンド wwwサーバがapacheとsquidを動かしている。apacheがリクエストを受け、squidのキャッシュが有ればそれを返し、無ければバックエンドのappサーバへproxy。 バックエンド appサーバがmemcachedとアプリを動かしている。 それぞれ冗長化してるけど、リクエスト数の割に台数は少ない。 技術があ
Apache, Cache-Control, 304, 大型サイトで静的ファイルを無駄なく配信 | バレで昼寝
以前にも書きましたが私は某ポータルサイトのシスアド、兼プログラマをしています。月々１億から３億ページビューを裁いていますが、システムの一番大きなコストはトラフィックです。 100MBit専有とまでなると月４０万は軽く行きます。そこでとにかくページビューをあげながらもトラフィックを減らそうと日々努力しています。この記事の目的はハウジングサービスからアマゾンのクラウドフロントに移行した成功例（または失敗例）について書いていきます。 まず、第一回は既存のシステム（静的ファイル用のサーバ）について簡単に説明します。長年、経験を積みながら行った設定です。あくまでも、サーバのスペック、サイトの用途によっても違ってきます。 OS： Gentoo HTTP Server： 最近lighttpdからまたApacheへ ※lighttpdはものすごくライトウェイトだが、バグの対応が遅い、ガンバレMade
シングルマスタ／マルチスレーブ構成に興味がない理由 - kazuhoのメモ置き場
システム全体で必要な書き込みパフォーマンスが、RDBMSノード１基の IOPS の W% の場合、シングルマスタ+スレーブn台構成のシステム全体のパフォーマンスは、 書き込みパフォーマンス: W 読み込みパフォーマンス: R=(1-w)*(n+1) になる。この n=R/(1-w)-1 って w が増加するとスレーブ増設のメリットが加速度的に失われていく点がイヤ。 例えば、システム全体で要求される書き込みパフォーマンスが W=0.3 で、読み込みパフォーマンスが 3 ならば、シングルマスタ／マルチスレーブ構成で必要なノード数は5台。マルチマスタ構成を採った場合でも理想値は4台なので、そう遜色があるわけではない。 しかし、仮に必要なパフォーマンスが２倍 (W=0.6, R=6) になると、必要ノード数はマルチマスタ構成での8台に対し、シングルマスタ／マルチスレーブ構成では16台と、一気にコス
PNG画像をより美しく、より軽量に最適化するテクニック | コリス
先日、紹介した「JPEG画像の最適化テクニック」に続いてSmashingMagazineから、PNG画像をより美しく、より軽量に最適化するテクニックを紹介します。 追記：2009/07/27 本エントリには続きがあります。 続：PNG画像をより美しく、より軽量に最適化するテクニック Clever PNG Optimization Techniques 下記、各ポイントをピックアップして紹介します。 最後のはCS3向けで不明だったので、途中省略しています。 はじめに PNG画像フォーマットの概要 1. ポスタリゼーション 2. 手のはいってない透過 3. 透過による分離 4. マスクを活用 はじめに ウェブデザイナーとしてあなたは既にPNGのフォーマットに精通しているかもしれません。PNGは劣化のないフォーマットとして、GIFの非常に良い代わりとなります。 Photoshop（あるいは他の画
JPEG画像をより美しく、より軽量に最適化するテクニック
JPEG画像をより美しく、より軽量に最適化するテクニックをSmashingMagazineから紹介します。 Clever JPEG Optimization Techniques 1. 「8ピクセル」のグリッド 2. カラーの最適化 3. JPEG最適化の一般的なTips 1. 「8ピクセル」のグリッド JPEG画像は、あなたが既に知っているように8x8のピクセルのブロックから成り立っています。画質を低くするとよく分かります。 この8x8ピクセルを利用して、JPEG画像を最適化します。 画質10で作成したサンプル 二つの正方形は同じ大きさ（8x8ピクセル）です。左上のはきれいに見え、右下のは汚く見えると思います。 これらは、それぞれ8x8のグリッドに並べたもので、左上はグリッドに揃えたもの、右下はグリッドに揃っていないものです。 保存する際に画像は、8x8ピクセルのブロックに分けられるため
Googleに学ぶ、ウェブページのパフォーマンスを最適化する方法
Web Performance Best Practices 下記、ウェブページのパフォーマンスを最適化するポイントをまとめたものです。 キャッシュの最適化 往復遅延時間を減らす HTTPリクエストを減らす ロードサイズを減らす レンダリングの最適化 関連書籍 1. Optimize caching キャッシュの最適化 ブラウザのキャッシュを活用 JavaScriptやCSSファイルや画像などのスタティックなリソースは、HTTPヘッダを使用してキャッシュをロードするようにします。 アドバイス スタティックなリソースは全て、積極的にキャッシュにセットします。 時々更新するリソースのキャッシュには、ファイルパスにフィンガープリントを埋め込みます。 IEでも確実にキャッシュされるように、Varyヘッダは削除します。 URLを自動生成している場合は、Fxのディスクキャッシュで使用している8文字のラ
第18回 知っておきたいApacheの基礎知識 その14 | gihyo.jp
ネットワーク回線が遅くて、どうしてもパフォーマンスが出ないなんてことを経験したことはありませんか？回線の問題がサービスを提供している側だけでおきているなら、単純に回線を太くすればよいですね。しかし、ユーザ側のネットワーク回線が遅い場合はどのようにすればよいのでしょうか。 ユーザ側の回線を速くすることはできないので、その遅い回線を利用してどうにかしてパフォーマンスをあげる必要があります。 今回は、ユーザの回線が遅い場合に効果的なモジュールを紹介していきたいと思います。 遅い回線でパフォーマンスを出すためには？ それではユーザ側の回線が遅い場合にできることは何があるのでしょうか？基本的に、パフォーマンスを出すための方法は、1つしかありません。 「転送するコンテンツの総量を減らす」ことに尽きます。 まず、手っ取り早くできることは画像サイズを小さくすることです。とくにデジカメで撮った写真をリサイズ
Yahoo!ニュース高速化の方法、PNG8移行時期は今 | エンタープライズ | マイコミジャーナル
Yahoo! JAPAN Tech Blog Yahoo! JAPANは27日、Yahoo!ニュースをリニューアルした。従来よりも高速にページが表示されるように改善が施された。従来は3秒から5秒ほどかかることもあった表示時間を1秒以内のレスポンスタイム実現を目指して各種最適化が実施されたと説明されている。 どういった最適化が実施されたのかがYahoo! JAPAN Tech Blog Yahoo!ニュース高速化へのサイトデザイン側からのアプローチで説明されている。サイトデザイン側の高速化アプローチとしておもに次の技術を活用したという。 CSS Spriteの採用 PNG8の採用 Optpix WebDesignerを使いPNG8の減色処理を実施 Smush.itを活用しPNG8の余分なチャンクを削除 興味深いのは、これらテクニックはYahoo!のエンジニアでありYSlowの開発者、Stoy
やってはいけない!!MySQLに悲鳴をあげさせる10の方法
いつも「MySQLを使うときはこうするべき」という観点から記事を書いているが、今日は逆に犯してはいけない過ちをリストアップしようと思う。 1. 全てのカラムにインデックスをつけるデータベース初心者がもっともやってしまいがちな間違いはコレではないだろうか。インデックスはいい。検索がとても速くなるから。しかし、それと引き替えにインデックスは更新するときにコストがかかるし、その分多くのディスクスペースを消費する。特に更新にかかるコストは時に甚大で、該当するインデックスのページがキャッシュ上にない場合はディスクからいったんそのページを読み込まなければいけない。ディスクアクセスは動作にとても時間がかかるので、インデックスが多数、例えば全てのカラムに付いていたりすると「あれ？固まったか？」というような状態になってしまうことがあるだろう。インデックスは必要なカラムにだけつけるようにテーブルを設計しよう。
ハードディスク速度評価 | Carpe Diem
今までコストと容量を重視して、SATA 7200RPM のハードディスクだけを使っていたけれど、試しに SAS 15000RPM のハードディスクのサーバを導入してみることにした。用途は、Flickr のパクリで Slave データベースサーバとして使う。 今回比較した s1 と s2 のスペックは、次のとおり。 s1: DELL R300, Xeon L5410 @ 2.33GHz, 8GB RAM, SAS 300GB 15000RPM s2: DELL R200, Xeon L3210 @ 2.13GHz, 4GB RAM, SATA 160GB 7200RPM 本来なら同じスペックのマシンで比較したところが仕方がない。 bonnie++ で速度面を評価してみた結果は、次のとおり。 s1 SATA Version 1.03e ——Sequential Output——
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
WordPressをパワーアップする.htaccessの設定集 | コリス
1. RSS FeedをFeedBurnerで配信 WordPressのRSS FeedsをFeedBurnerにリダイレクトさせます。 ※FeedBurnerの利用には、登録が必要です。 ルートの「.htaccess」に下記を記述します。 <textarea name="code" class="html" cols="60" rows="5"> <ifModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_USER_AGENT} !FeedBurner [NC] RewriteCond %{HTTP_USER_AGENT} !FeedValidator [NC] RewriteRule ^feed/?([_0-9a-z-]+)?/?$ http:///feeds.feedburner.jp/example [R=302,NC,
ウェブページの高速化に必要なもの
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のさかいです。 ネットサーフィンに慣れている techblog 読者のみなさんの中には、あちこち見て回っているうちに重いページに行き当たり、イライラしながら応答を待ったり、容赦なくバックスペースキーで前のページに戻ったり…という経験をされた方が多くいらっしゃると思います。 そういったストレスのないレスポンスが行えるよう、バックエンドのプログラムの最適化や、サーバーのチューニングを行うのは私たち技術者の仕事のひとつです。 しかし、あるウェブサイトにアクセスして、そのサイトを閲覧できる状態になるまでの時間のうち、そういったバックエンドでの処理に必要な時間は 1〜2 割でしかないというデータがあります。残り
Yahoo! JAPANがyimg.jpドメインを使うのは、悪意あるFlashから自社ドメインのCookieを守るため | gihyo.jp
濃縮還元オレンジニュース Yahoo! JAPANがyimg.jpドメインを使うのは、悪意あるFlashから自社ドメインのCookieを守るため SEOやユーザビリティに関するコンテンツを扱った「Web担当者Forum」にて「ヤフーの画像はなぜyimg.jpドメインなのか？ サイト高速化の手法とヤフーの失敗例」という記事が公開されました。この記事では、Yahoo! JAPANのページはyahoo.co.jpドメインにあるが、画像ファイルはyimg.jpドメインにあることの理由として、「Web表示のパフォーマンスを上げるため」「不必要なクッキーによる通信量の増加を避けるため」を挙げています。そしてyimg.jpドメイン名のCookieが不要に送られており、無駄なデータ転送が発生していることを指摘しています。 今回取り上げたページでは、この記事に対して、画像サーバのドメインを分けている理由
ロードバランサとVIPによるアクセス分散
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog オークション事業部の齋藤です。 私は主に出品や入札など、オークションを操作するマシンやオークションの商品詳細ページを表示するマシンの運用を担当しています。 Yahoo!オークションでは日々たくさんのお客様からアクセスをいただいています。アクセスをできるだけ早く処理するためにオークションシステムではさまざまな対策を行っています。われわれ独自の対策も行っていますが、基本的な大量アクセスへの対処は以下の二つになります。 マシンのCPUやメモリーなどのハードウエアを増強する マシンの台数を増やす 一つ目の対策を行うとマシン一台あたりの処理能力が上がり、同じマシンの台数でより多くのアクセスを処理できるようになります。 二つ目の対策を行うとマ
Benchmarking APC vs. eAccelerator using Drupal | 2bits.com, Inc. - Drupal and BackDrop CMS Consulting
Update: We later conducted tests that include XCache and published them in our article on benchmarking Drupal with PHP op-code caches: APC, eAccelerator and XCache compared. In an earlier article on PHP op-code caches and accelerators, we stated that empirical observations show that APC feels faster compared to eAccelerator. We decided to run some benchmarks to validate this observation, and come
漢(オトコ)のコンピュータ道: MySQLを高速化する10の方法
ちょっとキャッチ−なタイトルをつけてしまったが、今日は独断と偏見でMySQLを高速化する方法を10個紹介しよう。MySQLサーバをチューニングするときや初期導入する場合などに参考にしてもらいたい。 1. バッファを増やす、または減らす チューニングの基本中の基本であるが、適切なバッファサイズを設定することはパフォーマンスチューニングの要である。主なバッファは次の通り。 innodb_buffer_pool_size・・・InnoDBだけを利用する場合は空きメモリの7〜8割程度を割り当てる最も重要なバッファである。余談だが、実際にはここで割り当てた値の5〜10%ぐらいを多めにメモリを使うので注意が必要だ。 key_buffer_size・・・MyISAMだけを利用する場合は、空きメモリの3割程度を割り当てるといい。残りはファイルシステムのキャッシュ用に残しておこう。 sort_buffer_
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
「Yahoo!ニュース」の表示速度が3～5倍に、そのからくりは……：記事の芽
Web ページを高速化する
