はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
女子中学生が自転車で夜道を塾通いするのは危険？【通塾なしで成績アップする方法とは】
女子中学生が自転車で夜道を塾通いするのが心配という方へ 女子中学生が夜遅くまで自転車で塾に通うことは、心配事が尽きません。 夜道を走る際の危険性、事故のリスク、そして犯罪被害に遭う可能性など、多くの問題が存在します。 しかし、塾通いが成績アップにつながるため、親御さんたちはどうしてもこの方法を選ばざるを得ない場合もあるかもしれません。 そこで本記事では、女子中学生が自転車で夜道を通う際の危険性と対策について解説します。 また、通塾なしでも成績アップができる方法をご紹介します。 この記事はこのような方へ向けて書かれています 女子中学生を持つ親御さん 塾に通っている女子中学生 これから塾に通うか考え中の方 自転車通学をしている中学生 青少年の安全に関心のある方 この記事を読むことで得られるメリット 女子中学生が自転車で夜道を通って塾に通うことが減れば、次のような多くのメリットが得られます。 交
Webサーバ勉強会＃5でVarnishではじめるESIって発表してきました – cat /dev/random > /dev/null &
oranieさんが主催しているWebサーバ勉強会という 全員何かしら発表するという勉強会でESIについて発表してきました。 ESIについては結構前にqpstudyでもLTしているのですが Varnishのバージョンも上がり、いろいろ使いやすくなったので、ここでもう一回とおもいこのテーマで発表しました。 Varnishの利点はやはりその柔軟な設定（VCL）にあると思うので その利点を生かして、単純に静的ファイルをキャッシュさせるだけではなく ESIのように複雑なキャッシュをさせるのもいいんじゃないかなと思っています。 また他の方の発表を聞いてfluentdはやっぱり使いたい！と思った所存です。 JSONにどうしてもなるのかなぁと思っていたのですがrawで収集できるようにしたよ！という発表もあり既存とも組み合わせしやすくこれはいいなと考えています。 Apacheについても2.4.1が出た際に僕
Varnishのログの眺め方
Varnish Cache Plus. Random notes for wise web developersCarlos Abalde
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
夏に出したVarnishCache入門をPDFで公開しました – cat /dev/random > /dev/null &
夏コミで同人誌でだしたVarnishCache入門ですがPDFで公開します。 幾つか公開したかった理由はあったのですが、実際コミケまで足を運んで買っていただいた方にちょっと申し訳ないかなと 電子出版での有料配布も考えていたのですが 64P程度で大げさかなというのと、もう一ヶ月経って3.0.1も出たしいいかなと思い公開します。 内容的には初心者向けとなっていますので、そこまで高度な内容については記述していません。 なお3.0.1が公開されたためページ数が変わらない範囲で、その内容についても一部加筆しています。（fallback directorとか） Varnishを使ってみようと考えている方の参考になればと考えています。 PDFのダウンロード ちなみに、時間と印刷費の関係で書ききれなかった事がたくさんあるのですが(転記されないパラメータやら、varnishtestとか・・・） そういうこと
Versuin2.1.x→3.0.xへのVUP - メモ帳
Varnish Cache2.1系と3.0系では一部パラメータの廃止と動作の変更、VCLの記述に変更があります。 以下非互換で留意が必要なことを記述します。 ★現在調査中です 気づいたら増やします★ パラメータ 廃止 cache_vbe_conns err_ttl overflow_max purge_dups http_headers max_esi_includes 名前の変更 http_max_hdr(旧：http_headers) max_esi_depth(旧：max_esi_includes) queue_max(旧：overflow_max) 追加 ban_dups default_keep expiry_sleep fetch_maxchunksize gzip_level gzip_stack_buffer gzip_tmp_space http_gzip_support
画像が404の時にデフォルトの画像を出す方法（restart) – cat /dev/random > /dev/null &
Varnishはバックエンドが複数ある場合、そのうちひとつが死んでも残りのバックエンドを使うfailover機能がありますが バックエンドに画像が何もなかったときはどうなるでしょうか？通常の場合はそのまま404を返します。 しかし、画像が投稿されてから非同期でサムネを作成したり、何らかの画像処理を行ったりで一時的にデフォルトの画像を出したいことがあります。 いわばファイル版のfailoverみたいなもんですね。方法がありますので書いてみます。 通常varnishがファイルに対して存在するかしないかを判定できるのはvcl_fetchですが その段階からこのファイルをもう一回リクエストして！みたいなことはできません。 そこで利用するのがrestartです。 これを使うとvcl_pass,miss,hit,fetch,deliver,errorから再度vcl_recvへ処理を戻すことができます。
Varnish勉強会 Tokyo.vclを行いました - はまさき
Varnish勉強会 Tokyo.vcl : ATND 予想に反して満員御礼となりまして、登壇、参加して下さった方をはじめ補欠に入ってまで参加を希望して下さっていたみなさんありがとうございました。AWSだったりFusionIOだったりインフラに関わっていると会って話したくなるような方が多くいらっしゃって 以下、簡単ではありますがサマリーをまとめておきたいと思います。 配信 即席の環境ではありましたが配信も行っておりました。音声等あまり気にすることが出来ておりませんが、録画を残しております。 前半 オープニング〜@PENGUINANA_ さんの途中まで http://www.ustream.tv/recorded/15453305 後半 @PENGUINANA_ さんの途中 〜終了 http://www.ustream.tv/recorded/15453834 発表 皆さんの発表の情報をまと
Tokyo.vclでVarnishCache3の新機能とVUPの仕方を話してきました – cat /dev/random > /dev/null &
hmskさん主催の第一回のTokyo.vclでVarnishの話をしてきました。 5分～15分の長さでと言われたのでのんびりいっぱい喋れる！ ・・・と思ったら詰め込みすぎて結構早口で聞き取りにくかったかもしれません。 申し訳ないです。 内容はVarnishCache3.0の新機能と2.1/2.0系からVUPするときの変更点についてです。 UST（５分あたりから喋ってます） あといくつか資料で補足したい点がありましたので・・・ 別にESI使わなくてもgzip対応の恩恵は受けられるよ！ おもいっきりESIでgzipサポートとは書いていますが別にESIに限ったことではないのでESIを使わなくてもgzipは使えます。 スライド中には一行でしか書いてないのですが、 今まではVarnishではgzipの処理ができなかったので１つのオブジェクトに対してgzip・圧縮されてないコンテンツを持つ場合 両方を
私がクックパッドの画像配信野郎です - 昼メシ物語
一年ほど前にヤフーを退職した私ですが、その後なにをやっているかというと、クックパッドに入社して画像配信をしています。私が入社する前から動いていた画像配信の仕組みは設計が古くてなにかと困っていたので、より良いシステムを開発してリプレースというのをやっています。前職ではなかなかこういう基盤システムを一人でイチから作って運用までするという体験はできなかったので、でかい仕事をできるチャンスに恵まれて大変充実した毎日です。 入社当初はサービス開発の担当だったんですが、開発に必要な基盤システムを作り始めたらどんどんエンジニアリングのレイヤーが下がってきて、気づけばインフラチームに所属していました。 まあそんな話はさておき、この画像配信関連の成果をいくつかの勉強会で発表したので、その資料を紹介します。 サイバーエージェントxクックパッド合同勉強会（amepad） 弊社オフィスで開催された、サイバーエージ
作りたい料理にいち早く辿り着くためのキャッシュの小話
#amepad Lightning Talks http://techlife.cookpad.com/2011/05/16/amepad/
ウノウラボ by Zynga Japan: Varnish上でESIの機能を利用する
Keita です。 サンフランシスコで開かれたSymfony Liveで、Fabien Potencier氏によるHTTP Cacheという発表がありその中でESI(Edge Side Includes)の紹介がありました。 下の画像はちょっとみずらいですが、たとえばこのラボブログのレイアウトだと大枠の部分は常によりユーザに使いフロントの所（つまりCDNやキャッシュサーバ）側でキャッシュされていてAの部分とBの部分それぞれのコンテンツを別々にインクルードする形でキャッシュ制御することができます。 Symfony2のサイトsymfony-reloaded.orgでも、マニュアルがありますので、詳細はそちらを参考にしていただくとして、その中に、Varnishでもその機能が利用できることが紹介されていますので試してみたいと思います。 Varnishのインストールについては省略してとりあえず設定部
http://varnish-cache.org/svn/trunk/varnish-tools/emacs/vcl-mode.el
;;; vcl-mode.el - Syntax highlighting for Varnish Command Language ;;; ;;; Copyright (c) 2008-2009 Linpro AS ;;; All rights reserved. ;;; ;;; Author: Stig Sandbeck Mathisen ;;; ;;; Redistribution and use in source and binary forms, with or without ;;; modification, are permitted provided that the following conditions ;;; are met: ;;; 1. Redistributions of source code must retain the above copyrig
Varnish and Pressflow (Drupal) - Improve HIT rate and SEO - 301 redirects using Varnish | janaksingh
第13回 ［キャリアアップ編④］varnishを使おう③─便利な機能を使いこなす | gihyo.jp
【例1】親子関係の定義 バックエンドサーバを172.20.1.1: 6081とし、30ms以内の返答を期待する。 backend default { .host = "172.20.1.1"; .port = "6081"; .connect_timeout = 30ms; } 【例2】URLからコンテンツ振り分け リクエストURLがwww.test.jpの場合、キャッシュ有無の確認、必要に応じてdefault定義に従ってbackendサーバへ接続する。それ以外のURLであった場合は、「400 "Forbidden"」を返信する。 # backend server if (req.http.host == "www.test.jp") { set req.backend = default; } else { error 400 "Forbidden"; } 【例3】特定キャッシュの時間
varnishでのif-modified-sinceの無視のやりかた – cat /dev/random > /dev/null &
HTTPでの要求でIMS(if-modified-since)というものがあります ようはこんな感じのやりとりです ブラウザ「今この日付でオブジェクトもってるんだけどこれって最新？使ってもいい？」 (If-Modified-Since: Sun,14 Feb 2010 03:01:19 GMT) サーバ「最新だからそれ使ってもいいよ」 (304 Not Modified) 普通であればまったく問題ないやり取りです ただトラフィックが非常に大きいサーバの場合深刻な問題になります さっきのやり取りをもうちょい具体的にかくと ブラウザ「今この日付でオブジェクトもってるんだけどこれって最新？使ってもいい？」 (If-Modified-Since: Sun,14 Feb 2010 03:01:19 GMT) サーバ「ちょっとまってね（HDDのファイルの更新日時を調べる・・・）最新だからそれ使ってもい
Varnishを再起動無しで設定を適用する方法(修正版) – cat /dev/random > /dev/null &
昨日プロセスを強引にとる手法でやったところ もっといい方法があるよと@mikedaさんが教えてくれましたので修正しました 自前で作るRPMのvarnishのinit.dはこれでいこうかなーと /etc/init.d/varnish #! /bin/sh # # varnish Control the varnish HTTP accelerator # # chkconfig: - 90 10 # description: Varnish is a high-perfomance HTTP accelerator # processname: varnishd # config: /etc/sysconfig/varnish # pidfile: /var/run/varnish/varnishd.pid ### BEGIN INIT INFO # Provides: varnish #
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
#2094138 - Pastie
[pdf]The Operation and Installation of. 株式会社エンターモーション. システム開発部. 重村法克