『Ameba OwndのSEOを支える技術 for AngularJS』
こんにちは、サーバーサイドのエンジニアをやっているoinumeです。今回は昨年8月ぐらいから作っていたAmeba Owndというサービスで行ったSEO対策について紹介します。 AmebaOwndって？ブログ機能を備えたスタイリッシュなデザインのWebサイトを簡単に作成できるサービスです。 香川真司オフィシャルサイトスターバックス コーヒー オフィシャルブログなどのサイトがAmeba Owndを利用して作られています。 アーキテクチャユーザーさんがWebブラウザでアクセスするページについてはAngularJS + REST API(Nginx + Go)で作られています。一方でGooglebotなどのクローラーからのアクセスの場合は、受けたリクエストをNginxがPrerender CacheというシステムにProxyして、このPrerender CacheからHTMLを返すようにしています
CDN化をnginxの設定で行う方法 - Qiita
瞬間的な高負荷に耐える為にアプリケーション側を変更せず、nginxの設定のみで対応する方法 CDNとは、「Contents Delivery Network」といわれるもので、最適なネットワークを経由してWebコンテンツをキャッシュし効率的に配信できる物です。Amazon(AWS)では「CloudFront」というサービスがあります。他にも「Akamai」などが有名です。 前提条件 バックエンドにProxyするCMSを使う(ここではPlone) (画像等も静的なデータではなくCMSから配信) 今回の実験 CDNには、Amazon(AWS) CloudFrontを用いた nginx - Varnish - CMSアプリ(Plone(複数台))という構成(当社が普段から使っている構成) 画像やファイルなどのみをCDNから配信させる 画像やファイルのオリジナルは、Plone内つまり、同じngin
My Varnish Setup
This document discusses the setup of a Varnish server for a Ruby on Rails application. It includes components like Ruby on Rails, Redis, Varnish with ESI and gzip, and Nginx. It also discusses using Edge Side Includes (ESI) to reduce requests to the backend, A/B testing functionality using Varnish Control Language (VCL), and the Lacquer gem for Rails integration with Varnish.Read less
VarnishCache4.0.0が公開されました – cat /dev/random > /dev/null &
今回もgifを撮ってみました。 取得に3秒かかるコードでTTLは10秒です。expire時の動きを見てみてください。 検証コード ■date.php <?php header('Cache-Control: max-age=20'); echo date("Y/m/d H:i:s")."\n"; sleep(3); ■vcl@3.0.5 sub vcl_fetch{ set beresp.do_stream = true; set beresp.ttl = 10s; set beresp.grace = 10m; } ■vcl@4.0.0 sub vcl_backend_response{ set beresp.do_stream = true; set beresp.ttl = 10s; set beresp.grace = 10m; } grace動作 3.0.5 4.0.0 3.0で
Varnishの圧縮転送について調べた
Varnish 3.0 系列ではパイプラインのどこでオブジェクトが圧縮されるのか確認した。 基本的に次のオフィシャルドキュメントの ESI 以外の箇所を読みながら動作確認しただけ。 How GZIP, and GZIP+ESI works in Varnish https://www.varnish-cache.org/docs/trunk/phk/gzip.html まとめ 3行でまとめると Varnish の圧縮は gzip のみに対応。 オリジンサーバにはリクエストヘッダーを Accept-Encoding:gzip に書き換えてコンテンツを要求し、できる限り gzip 化してキャッシュする。 クライアントの gzip 対応に応じて gzip のまま、または gunzip してコンテンツ配信する。 リクエストの流れ 1. Send a Request Client が Varnish
Varnishのログをsyslog/fluentdで収集
Varnish のログを NCSA 形式で出力し、syslog/fluentd を使って収集する方法を調べた。 OS は Ubuntu 12.04、syslog は rsyslog、 varnish はオフィシャルサイトが提供するレポジトリ経由でインストールしていることを想定。 Varnish はディスク I/O を減らすために共有メモリにログ出力し、ログ取得用のプログラム(varnishlog と Apache のアクセスログ風に整形した varnishncsa)が共有メモリからログ情報を取得するアーキテクチャ。この狙いを無駄にしないログ出力をおこないたい。 今回試すログ出力形式 ローカルの専用ファイルに出力 ローカルの syslog に出力 ローカルの syslog に出力し、リモートの syslog に転送し rsyslog で受信 ローカルの syslog に出力し、リモートの s
varnishstatの主要フィールドのメモ
HTTPアクセラレータの Varnish は varnishstat コマンドから varnishd の統計情報を取得できる。 キャッシュヒット率からマイナーなものまで収集出来る情報はたくさんあるけれども、その中でも重要そうな情報をメモ。 varnishstat の使い方 man page varnishstat コマンドの man(varnishstat – Varnish Cache statistics) $ man 1 varnishstat 1秒間隔で top のように表示 $ varnishstat 更新間隔を5秒間隔に変更 -w で秒数を指定する。 $ varnishstat -w 5 更新せずに1回だけ表示 top コマンドのバッチモード(-b)に相当。出力結果を使いまわしたいときに利用。 $ varnishstat -1 4列表示され、左から順に Symbolic ent
[Varnish]URLごとにキャッシュの hit/miss を集計する。
varnishtop コマンドを使うと varnishtop -b -i TxURL や varnishtop -b -i RxURL とすれば、それぞれバックエンドサーバへのリクエスト(=cache miss)、Varnish へのリクエストの統計情報がわかる。 varnishtop は現状を把握する上では便利だけど、URLを 単位で cache hit/cache miss がどのくらいあったのかあとで集計したいときには使いづらい。 そこで varnishncsa を使ってリクエストごとのキャッシュヒットの有無をログ出力し、あとから URL ごとの cache hit/miss 数を集計できるようにしてみた。 varnishncsaを使ったキャッシュ情報の出力 リクエストごとのキャッシュヒットの有無をファイル cache_log.log に出力するには次のコマンドを実行する。 $ va
[Varnish]gracefulにキャッシュしたい
次の様なケースの Varnish の振る舞いを調べてみた キャッシュされていないコンテンツに同時にアクセスされた時(thundering herd problem) TTL 設定したキャッシュコンテンツが expire した時(grace mode) オリジンサーバが HTTP ステータス 500番台を返してきた時(saint mode) 構成 client – Varnish/3.0.4 – nginx/1.1.19 & php-fpm 通常のキャッシュの振る舞い Varnish を使うとコンテンツがキャッシュされることを確認。 確認方法 現在時刻を返すだけのページ sleep.php を用意。 意図的に処理時間がかかるよう sleep を挟む <?php sleep(5); echo date('Y/m/d H:i:s') . "\n"; ?> 未キャッシュ状態でアクセスすると現在時刻
![[Varnish]gracefulにキャッシュしたい](https://cdn-ak-scissors.b.st-hatena.com/image/square/e15ea8c8e228c21ff3174126caccd54a5fd77497/height=288;version=1;width=512/https%3A%2F%2Fsiguniang.files.wordpress.com%2F2013%2F10%2Fvarnish_saint_mode.jpg)
Varnishのログにアクセスしてみよう！ | GREE Engineering
こんにちは、Service Reliabilityチームのいわなちゃん(@xcir)です。チーム名が読みづらいのでSRやSレアと呼ばれたりもしています。レアリティが上がるように頑張って行きたいと考えています。 前回は「Varnishでテストコードを書こう！」という記事を書いたので、今回はGREE Advent calendar 2013の17日目も兼ねてVarnish Cache(以下Varnish)のログを読んだり加工してみたりしようと思います。 また、使用したVersionは3.0.3です。 Varnishのログのしくみ Proxyでアクセスログを取得したいというのはよくあると思います。通常のミドルウェアでは設定ファイルで出力ファイル名を決めたりします。しかし、Varnish本体(varnishd)の設定ではそのような項目はありません。 では、Varnishはログを出していないのか？と
VUG7で配信システムをマイグレーションした話と作ったツールの話をして来ました – cat /dev/random > /dev/null &
6ヶ月ぐらい前の話になるんですがVarnish User Group7(VUG7)で発表してきました。 下書きは書いたものの発表後の燃え尽きと、時期逃したかなと放置していたのですが、先日VUG8もあったのでせっかくなので書きました。 資料はこれです。 話した内容は古い配信システムをマイグレーションした話とその過程で作った、使ったツールの紹介です。 会社のシステムなので細かいことは書けないのですが、所属している会社を考えて頂ければそれなりの規模だと想像していただけると思います。更にいうと単一ではなく複数のシステムの統合です。 また、スライドにも書いてあるとおりなのですが、マイグレーションはダウンタイムなしで最初の1台を入社後の一月以内で投入というスピード感で行われました。 どのようなマイグレーションでもそうだと思うのですが、今回私が特に気をつけて行ったのが以下です。 ・キャパシティプランニン
Varnish3.0.5が公開されました – cat /dev/random > /dev/null &
Varnish3.0.5が公開されました。 今回はBugfixですが varnishlogの-mオプションで動きが変わったため一瞬戸惑うかもしれません。 修正された項目は以下になります。 varnishd ■ESIのパースに失敗した場合に標準出力にメッセージを出していたのをやめました (Stop printing to stdout on ESI parse warnings) デバッグの時の消し忘れっぽいですね。 ■syntheticの最初のパートでNULLを指定した場合segfaultで落ちるのを修正しました (#1287) vcl_error内でstd.filereadを使ってNULLが帰ってきた場合や存在しないヘッダを指定したときなどに出ると思いますが 普通はしないと思います。 ■streamを利用した際にContent-Lengthが重複してクライアントに送信されるのを修正しまし
Varnishで443ポートもリッスンする - dai-yamashitaの日記
なんだかんだで、ちょろちょろとVarnishさんを触っています。 VarnishさんでSSL関連が触れないのは、皆さん周知の事実だと思いますが、 なにもしなくていいから、バックエンドにそのまま流してくれと、(バックエンド側でSSL紐解けば）というのをやってみたかったので、試した所、 翌々考えたら、80ポートしかリッスンさせてなかったので（気づくのにちょっと時間かかったｗ）未来の自分への備忘録。 (タダの恥さらしの記録ですねー( ﾟ ρ ﾟ )） ■環境 Scientific Linux ■Varnish 3.0.4 (rpmパッケージを作って、導入しています。理由は、また次の機会にでも。。。） yum等で導入した場合、パッケージに入っているinitscriptは、/etc/sysconfig/varnish の内容を読んでいることが確認できます。 んで、最初の状況がこれ。リッスンポートを8
varnishncsaでApache形式のアクセスログをsyslogで飛ばしてみる - dai-yamashitaの日記
アクセス解析とかで、プロキシのログも飛ばしといてねってありますよね？？ 各種ログ集めて、アクセス解析とかちょっと。。。って感じだったので、とりあえず、syslog（rsyslog)で飛ばして、 一元管理できるようにしてみました。後ほど考えられる問題は、後にしといて、以下の感じで、出力してます。 使用のvarnish は「varnishd (varnish-3.0.2 revision 55e70a4)」です。 /usr/bin/varnishncsa -a -P /var/run/varnishncsa.pid -F '%h %l %u %t %r %s %b %{Referer}i %{User-Agent}i' | /usr/bin/logger -p local1.info -t tag &本来は、 -D オプションつけたいんですが、-Dオプション付けると、loggerでsyslog
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reverse caching proxies: Varnish or Nginx? - Techorama 2014
v4rp_tokyo
Setting client.ip in Varnish VCL with libvmod-ipcast
vmod-sql
VarnishでランダムなTTLを設定
LANNN – extra speed with using Varnish in front of Nginx and Node.js | blog.i-evaluation.com