cachectld〜無駄なページキャッシュの削除を自動化〜 | メルカリエンジニアリング
原稿の執筆が一段落して心に余裕が出てきた@cubicdaiyaです。 今回はサーバを運用しているとありがちなページキャッシュに関する問題とメルカリのアプローチについて解説します。 Fluentdによるログ転送 話は変わりますが、メルカリの各サーバ上ではプログラムが吐いたログデータをKibanaやNorikraといった各種コンポーネントに転送するためにFluentdが稼働しています。各ログデータは原則単一のファイルに追記されてFluentdのtailプラグインによって各所に転送されていきます。 ログデータのサイズはまちまちで、1日で数GB程度のログデータもあれば数十GB以上のログデータもあります。 ページキャッシュと巨大なログファイル 各サーバに吐かれるログデータのサイズはサーバに搭載されているメモリのサイズと比べると1日分だけでもかなりの量になります。そして、このように絶えず書き込まれる巨
キャッシュポイズニングの開いたパンドラの箱
キャッシュポイズニングの開いたパンドラの箱 Opened Pandora's box of Cache Poisoning 鈴木常彦 2014.04.15 (Concept by 前野年紀 2014.02) / English version 背景 Kaminsky 2008年、Dan Kaminsky 氏が TTL に影響されない毒入れ手法を発表した。 しかし、偽応答のAdditional Section で毒が入るとされたのは誤りだったことを2011年に鈴木が明かにした。 http://www.e-ontap.com/dns/bindmatrix.html Müller Bernhard Müller の "IMPROVED DNS SPOOFING USING NODE RE-DELEGATION", 2008.7.14 https://www.sec-consult.c
Kodama's tips page
Kodama's home / tips. Linux ディスクキャッシュの開放 以下は Linux 2.6.16 以降. 2.6.15 以前では, /proc/sys/vm/bdflush で行う. 概要 一時的にキャッシュを開放したい場合 ディスク装置のバッファキャッシュ キャッシュのメモリー使用量の調整 キャッシュの書き込み間隔の調整 概要 ディスク装置の中のディスクの回転速度や読み書き速度と コンピュータのデータ転送速度には大きな差がある. この速度の違いを調整するために, 一時的なデータの置き場所として使われるものをバッファキャッシュと云う. ディスク装置に組み込まれたバッファキャッシュと, 主メモリーの空いた部分にとるバッファキャッシュの2段階があることに注意. 通常は気にする必要は無いが, 能力の測定でファイルの読み書きを行う場合などに影響する. Linux では, 主メモリ
ファイル指定で、ページキャッシュにのっているか確認したり追い出したり - （ひ）メモ
ファイル指定で、ページキャッシュにのっているか確認したり追い出したりするPerlモジュールを書きました。 https://metacpan.org/release/Sys-PageCache https://github.com/hirose31/Sys-PageCache Linux なら動くはずですが、動かなかったら教えてください。あと一応、FreeBSD 8.3以上でも動くと思います。 既存の実装にGoogleのlinux-ftoolsやエヌハヤシ氏のpagecache-toolがありますが、これのPerlモジュール実装（XS）になります。 https://code.google.com/p/linux-ftools/ https://github.com/nhayashi/pagecache-tool たまにfreeコマンドでみるとbuffers/cacheが食っててswapしてる
Webアプリにおけるキャッシュ。オレオレ事例 - ゆーすけべー日記
Webアプリにおいて、アクセスやデータ量が多く/大きくなってくると、 バックエンドのパフォーマンスが低下しがちです。 MySQLなどのRDBMSにデータを置いている場合は適切に クエリーを改善する、インデックスを張る、といった策で解決する場合もありますが、 キャッシュを効果的に利用することでより高負荷に対応できる可能性があります。 また、外部APIへの問い合わせなど、どうしてもネットワークや他のリソースのレスポンスタイムに 引きずられる部分に関しては情報を手元にキャッシュしておくと何かとよいでしょう。 今回はWebアプリケーションのレイヤーで最近僕がどのようにキャッシュを使っているのか？ の事例を紹介しつつまとめてみたいと思います。 キャッシュについてとその基本 そもそもキャッシュとは、簡単にふわっと表現するならば、 「一時的に情報を手元の近い場所に置いておいて利用する手法、もしくはその一
Squidの更新パターンでインターネットアクセスを高速化する | OSDN Magazine
帯域幅の制限は、インターネットに接続している多くの人にとって今なお残る問題の1つだ。しかし、プロキシキャッシュサーバSquidをネットワークにインストールし、設定パラメータを用いてバイトヒット率を上げれば、利用可能な帯域幅を3～6割近くも拡大できる。 Squidは、きめ細かいチューニングによってさまざまなニーズに対応できる。現行の安定版には少なくとも249個のパラメータがあり、丁寧なコメントが付いた設定ファイル（通常は「/etc/squid.conf」）は4,600行以上もある。このボリュームには、経験豊かな管理者でも圧倒されるだろう。設定の変更はすべてこのファイル上で行う。 1週間では一杯にならない（理想をいえば1か月以上持つような）大きなキャッシュがほしいところだ。実際に必要なサイズは、ネットワークのトラフィック量によって変わってくる。キャッシュのサイズが大きいほど、要求されたオブジェ
RFC2616: ハイパーテキスト転送プロトコル -- HTTP/1.1
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネット(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2024年5月時点の調査。
RFC 2068: Hypertext Transfer Protocol - HTTP/1.1 - 翻訳物
R. Fielding UC Irvine J. Gettys J. Mogul DEC H. Frystyk T. Berners-Lee MIT/LCS January 1997 この記述の状態 このドキュメントはインターネットコミュニティのためのインターネット標準トラックプロトコルを詳述し、改善のための論議と提案を要求する。標準化の状態とこのプロトコルは "インターネット公式プロトコル標準" (STD 1) の最新版を参照してください。この記述の配布は無制限である。 概要 Hypertext Transfer Protocol (HTTP) は共同的ハイパーメディア情報システム配布システムのためのアプリケーションレベルプロトコルである。これはリクエストメソッドの拡張を通じて、ネームサーバやオブジェクト配布管理システムなど、さまざまな作業に対して使用する事のできる一般
キャッシュコントロール - えすkuro日記
個人的メモ。 PHP 等のサーバ側プログラムでキャッシュコントロールを行う場合、以下のような流れになります。 リクエストヘッダ If-Modified-Since を受け取る データの更新時間を取得し If-Modified-Since と比較 更新されていれば以下のヘッダを送信HTTP/1.1 200 OK Last-Modified: 最終更新時間 ETag: "任意の文字列" Cache-Control: private更新されていなければ以下のヘッダを送信後即終了HTTP/1.1 304 Not Modified Last-Modified: 最終更新時間 ETag: "任意の文字列" Cache-Control: privateモジュール版PHPで「If-Modified-Since」に対応するにコード付きの詳しい説明がありますので、参考にさせて頂きましょう。あとリクエストメソッ
– このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネット(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2024年5月時点の調査。
HTTP : GET と POST の知られざる違い - 灯台下暗し -カッターナイフで恐竜を腑分けした記録-
HTTP の GET メソッドと POST メソッドについて、改めて書きたいことがあります。定義の中のある箇所が世間では軽視されているように思うのです。 Wikipedia に簡潔かつ正確に解説されている話ですが、ここで改めて解説を。 http://ja.wikipedia.org/wiki/%E5%86%AA%E7%AD%89#WWW HTTP 1.1 の通信手順・動作を定義している RFC 2616 http://www.ietf.org/rfc/rfc2616.txt に「9.1.2 Idempotent Methods」という節があります。 "Idempotent" の形容詞 "Idempotence" とは「N(>0)回実行された際の副作用が、1回のみ実行された際の副作用と同じ」と定義されています。平たく言うと、1回目の実行で何か変化が起きる(かもしれない)のですが、2回目以降の
OZACC.blog: HTTPヘッダでのキャッシュ制御 2
Web.Dev | HTTPヘッダでのキャッシュ制御 2 昨日書いたエントリーの続き。 Windows版のIE 6とFirefox 1.5で動作検証を行っているが、「Cache-Control:private, max-age=60」をレスポンスヘッダに指定した場合、次のような挙動を取ることが分かった。 IE 6では、Cache-Controlの他にPragma、過去日時のExpiresがヘッダに含まれていても、Cache-Controlを優先し、Pragma、Expiresは無視する。 一方Firefox 1.5では、Pragma、Expiresの一方もしくは両方がヘッダに含まれていると、Cache-Controlのmax-ageは無視されブラウザキャッシュされなかった。Cache-Controlだけで他の２つのヘッダがなければIEと同様にキャッシュするが、max-ageの設定時間に関
キャッシュの設定
<meta http-equiv="Pragma" content="no-cache"> <meta http-equiv="Cache-Control" content="no-cache"> <meta http-equiv="Expires" content="-1"> ブラウザのキャッシュ（すでに表示したページのデータを残しておいて次にアクセスしたときに高速に表示する機能。一時ファイルとも）を無効にして常に最新のファイルをダウンロードしてもらえるようになります。 キャッシュはブラウザの設定によっては常に有効になっていて最新のデータが読み込まれない場合があります。この方法を使えば、ユーザーのブラウザの設定に関わりなく常に最新のデータを読み込んでもらうことが出来ます。動的に生成されるページなど、キャッシュされたくないページや、頻繁に更新するページに有効です。 ただキャッシュが無効
コンテンツをWWWブラウザにキャッシュさせたくない
Q 質問 イントラネットでWWWサーバーにアクセスする際，WWWブラウザがキャッシュした古い情報を表示してしまうことがあるようです。コンテンツをキャッシュさせないようにする方法はありますか。 A 回答 HTTPが備えるキャッシュの仕組みを利用すればある程度は回避できます。 WWWブラウザはコンテンツをキャッシュする機能を備えています。無駄なトラフィックを削減するための機能ですが，業務システムでは不都合が生じる場合があります。古い情報を表示してしまうケースや，給与明細のように重要な情報を扱うシステムではキャッシュにコンテンツが残るとセキュリティ上の問題も出てきます。 この問題を回避する最も簡単な方法は，WWWブラウザの設定でキャッシュを無効にすることです。例えば，Internet Explorer（IE）やNetscape Communicator（NC）の場合はキャッシュのサイズを0に設定
ブラウザキャッシュでパフォーマンス向上
キャッシュ制御の方法 サーバサイドからキャッシュを制御するには、以下の2つの方法がある。 HTTPヘッダによる制御 METAタグによる制御 まずは、これらがどのようなものか、軽くおさらいしておく。 ■HTTPヘッダによる制御 HTTPプロトコルでは、HTTPヘッダにさまざまな情報を格納することができる。そのうちいくつかの情報は、キャッシュ制御のためのヘッダである。リクエスト（クライアント→サーバ）用のものと、レスポンス（サーバ→クライアント）用、リクエスト／レスポンス共通のものが存在する。 ■リクエスト用 If-Modified-Since 日時を指定する。指定した日時より新しいコンテンツの場合のみデータを返却するようにサーバに指示する。ローカルキャッシュの最新確認に使用される If-None-Match 指定したエンティティタグに一致しない場合のみコンテンツを返却するようにサーバに指示す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://sakaguch.com/pastbbs/0033/B0016852.html
Internet Explorerでの設定
リクエストヘッダをブラウザと同じにする
IBM Developer – IBM Developer
https://labs.cybozu.co.jp/blog/kazuho/archives/2006/02/utilizing_cache.php