米Yahoo!、社内で使われているWebプロキシキャッシュ「Traffic Server」をオープンソース化 | gihyo.jp
濃縮還元オレンジニュース 米Yahoo!、社内で使われているWebプロキシキャッシュ「Traffic Server」をオープンソース化 2009年11月4日、米Yahoo!はWebプロキシキャッシュ「Traffic Server」をオープンソースとして公開しました。プロキシキャッシュとは、よくアクセスされるコンテンツをキャッシュして高負荷なHTTPトラフィックを効率良くさばくための技術です。ほかに有名なものでは「Squid」があります。 Traffic ServerはC++で書かれており、コード量は数十万行にも及びます。またマルチスレッドで動作し、一般的なクアッドコアマシンで秒間リクエスト数が3万を超えるなど、非常に高速に動作します。実績も申し分 なく、米Yahoo!のトップページやメール、スポーツ、ニュースなど多くのサービスで使われています。 元をたどると、2002年に米Yahoo!によ
CNET Japan
人気の記事 1「Nothing Phone (2a)」--スタイルよりスペック重視の新型スマホを写真で確認 2024年03月08日 2「Files by Google」、文書を簡単にスキャンできる新機能を追加 2024年03月08日 3注目を集めるスマートリング--新たな定番フィットネストラッカーとなるか 2024年03月08日 4「Nothing Phone (2a)」正式発表--ライトを減らし安価に 2024年03月06日 5「Pixel Watch 2」の一部機能、初代モデルでも利用可能に 2024年03月05日 6「Galaxy S24/S24+」レビュー：2週間使って「Ultra」よりお勧めできる理由 2024年02月08日 7イーロン・マスク氏「日本は消えてなくなる」X投稿再び--過去最低の出生数を受け 2024年03月01日 8パナソニック、マイクロLEDを使った次世代照明-
Webプロキシ利用率のSquid Graphを用いた確認 | OSDN Magazine
Squid Graphは、手元のSquidプロキシサーバのaccess.logファイルに記録されたログを基にして、キャッシュのヒット数やキャッシュのみで処理されたリクエストの比率といった、プロキシアクセスおよび転送に関する統計情報をWebページ形式にて表示するためのPerlスクリプトである。こうしたSquid Graphの機能は、Squidの設定が最適化されているかという確認をする際に役立つはずだ。 Squidのキャッシュが有効に機能しているかのその他の確認法としては、Simple Network Management Protocol（SNMP）のサポート設定をSquidに施した上で、Multi Router Traffic Grapher（MRTG）やCactiを用いたSquidのモニタリングをSNMPを介して実行するという手法も存在する。これに対して本稿で解説するSquid Grap
Squidの更新パターンでインターネットアクセスを高速化する | OSDN Magazine
帯域幅の制限は、インターネットに接続している多くの人にとって今なお残る問題の1つだ。しかし、プロキシキャッシュサーバSquidをネットワークにインストールし、設定パラメータを用いてバイトヒット率を上げれば、利用可能な帯域幅を3～6割近くも拡大できる。 Squidは、きめ細かいチューニングによってさまざまなニーズに対応できる。現行の安定版には少なくとも249個のパラメータがあり、丁寧なコメントが付いた設定ファイル（通常は「/etc/squid.conf」）は4,600行以上もある。このボリュームには、経験豊かな管理者でも圧倒されるだろう。設定の変更はすべてこのファイル上で行う。 1週間では一杯にならない（理想をいえば1か月以上持つような）大きなキャッシュがほしいところだ。実際に必要なサイズは、ネットワークのトラフィック量によって変わってくる。キャッシュのサイズが大きいほど、要求されたオブジェ
Polipo ― a caching web proxy
Polipo is no longer maintained When it was first written, Polipo was probably the best HTTP proxy available. Since then, the web has changed, and HTTP proxies are no longer useful: most traffic is encrypted, and a web proxy merely acts as a dumb intermediary for encrypted traffic. Polipo will no longer be maintained. Here are some alternatives: if you need your HTTP traffic to originate from a rem
20070502 - ¥Þ¥¤¥É¥¥å¥á¥ó¥È - Seesaa Wiki¡Ê¥¦¥£¥¡Ë
[ ¥Ñ¥½¥³¥ó ] ¥Þ¥¤¥É¥¥å¥á¥ó¥È ¥³¥ó¥Ô¥å¡¼¥¿´ØÏ¢¤Î¥á¥â ÊÔ½¸ ÍúÎò źÉÕ ÀßÄê ¿·µ¬¥Ú¡¼¥¸ºîÀ® ¥Õ¥ê¡¼¥¨¥ê¥¢ ¥Õ¥ê¡¼¥¨¥ê¥¢ ¥Õ¥ê¡¼¥¨¥ê¥¢ ¤³¤Î¥¦¥£¥¤ÎÆÉ¼Ô¤Ë¤Ê¤ë ºÇ¿·¥³¥á¥ó¥È ¥á¥Ë¥å¡¼ WikiÆ⸡º÷ ¥á¥Ë¥å¡¼¥Ð¡¼A ¥¿¥° ¿´¤Ë»Ä¤ë̾¸À½¸ ºÇ¶á¹¹¿·¤·¤¿¥Ú¡¼¥¸ 2013-03-24 ³«È¯´Ä¶ 2012-12-28 Hard Ware 2012-11-23 20121123 ³«È¯¥á¥â 2011-12-28 20111228 2011-12-10 Cygwin ¥Ä¡¼¥ë 2011-11-04 20080215 2011-05-04 OS 2010-08-01 2010
プロキシ自動設定の仕組み悪用の恐れ、Microsoftが技術文書公開
ブラウザのプロキシ設定を自動化するWPADの仕組みを悪用し、悪意のあるプロキシサーバにトラフィックを誘導されてしまう問題があることが分かった。 ブラウザのプロキシ設定を自動化するWPAD（Web Proxy Automatic Discovery）プロトコルの仕組みを悪用し、悪意のあるプロキシサーバにトラフィックを誘導されてしまう問題があることが分かり、Microsoftが技術文書を公開して回避策を紹介した。 Microsoftによると、WPADを利用する設定になっているクライアントソフトは、プロキシ自動設定ファイル（Wpad.dat）が置かれたホストを参照する仕組みになっているが、そのためにはWPADエントリをDNS（Domain Name System）かWINS（Windows Internet Naming Service）に登録しておく必要がある。 この仕組みを悪用し、密かにWP
squidGuardを使ったコンテンツフィルタリング | OSDN Magazine
Webのコンテンツフィルタリングというのは、面倒な処理になる場合がある。企業では非常に問題性の高いWebサイトだけをブロックする必要がある一方で、学校ではもっと徹底的なやり方に従うことが法律で要求されることもある。だが、どんなフィルタリングが必要になるにせよ、squidとsquidGuardというオープンソースのソフトウェアとブラックリストさえあれば解決策を講じることができる。 The squidサーバは、WebブラウザとWebサイトの中間的な役割を果たす。squidは、プロキシとしてWebブラウザからURL要求を受け取り、このブラウザの代わりにWebブラウザへの接続とコンテンツのダウンロードを行い、そのコンテンツをWebブラウザに提供するのだ。また、近いうちに同じURLが要求された場合に別のブラウザにすばやく提供できるように、このコンテンツをハードディスクに保存する。一般的には、この処理
mod_proxyのretryを2段階にするpatch : blog.nomadscafe.jp
mod_proxyのretryを2段階にするpatch mod_proxy_balancerのretryの「retryの秒数を2段階に」の件。 本格的にはサービスで使っていないのだが、patchを作って動くことは確認してる。 patchを適用すると、quick_retryとquick_retry_maxという設定が増えます。BalancerMemberがfailしたあと、quick_retry_max回はquick_retry秒間隔で接続を確認して、それ以降は通常通りretry秒毎になります。 設定は BalancerMember http://127.0.0.1:81 loadfactor=10 retry=60 quick_retry=3 quick_retry_max=40 な感じ。 mod_proxy_qretry.patchにpatch置いておきます。 このpatchは結局、De
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Squid2.6 のCOSSがいい感じ : blog.nomadscafe.jp
Squid2.6 のCOSSがいい感じ Squidの比較的新しいcache_dirのCOSSが結構いい感じに動いている。 COSSだと、cache objectが１つの大きなファイルに納められるので、ディスクIOがかなり改善しています。 あまり情報がないのですが、Wikiに設定の説明と、aufsとの比較とかがあります。 cache_dir coss /var/spool/squid/coss 30000 block-size=2048 max-size=500000 cache_swap_log /var/spool/squid/%s こんな感じの設定のサーバで、cache個数 50万ファイル以上、最大リクエスト数500req/sec以上、Hit rateが99%の状態において、CPU負荷がUser:数%、iowait:1%弱とかで推移。もうちょっとcache個数の多いサーバでもiowai
「mixiの画像ファイルは1日に23Gバイトずつ増える」---バタラ・ケスマCTO
日本最大のソーシャル・ネットワーキング・サービス（SNS）「mixi」を運営するミクシィのバタラ・ケスマCTO（最高技術責任者）は8月23日，都内で講演し，mixi内の画像ファイルは合計で9Tバイトを超えていると説明した。さらに「1日に23Gバイトくらい増えている」（バタラCTO）という。 バタラCTOによるとmixi内の画像ファイルは2種類に分かれる。つまり，(1)プロフィールの写真やコミュニティのロゴのように頻繁にアクセスされる画像と，(2)日記やアルバムの写真のようにアクセス頻度の少ないものだ。(1)はファイル数が少なく，サイズも合計で数百Gバイトしかないのに対し，(2)はファイル数が多く，合計で数Tバイトに及ぶという特徴がある。 そこでmixiは(1)の画像ファイルに対しては「キャッシュのヒット率が非常に良いので普通にキャッシュすれば良い」（バタラCTO）という方針を取る。キャッシ
squid vs apache - 最速配信研究会(@yamaz)
http://blog.livedoor.jp/nipotan/archives/50538571.html を読むとmixiではsquidが一部で使われているようだ.具体的にどこで使われているかはわからないけれど, 当然我々もsquidには目をつけていてapacheのmod_proxyとの比較検討を行ったことがある. その結果squidはスケーラブルな配信サーバを構築するのには向いていないという結論になった. それはこんな理由による. 1. キャッシュされたファイルのインデックスデータとメタ情報をメモリに置くのが無駄 squidはキャッシュされたファイルのインデックスデータとメタ情報をメモリに置く. よって画像が増えれば増えるほどインデックスが大きくなりすぎて,本来使用したい ファイルシステム用のバッファキャッシュが食いつぶされてしまうという結果になった. 実際某サイトでは数十万URL程
(ひ)メモ - そんなわきゃない＞DNS RRはロードバランサの座を奪い返せるか
チープなDNSラウンドロビンは高価なロードバランサの座を奪い返せるか つっこみどころが満載スギなのは脇においておいて、金をかけないなら、DNSラウンドロビンじゃなくて、せめて、件の記事でも紹介されている Apache 2.2のmod_proxy_balancer か、Apache 2.2じゃなくても使えるreverse proxy系の実装たち、 POUND mod_backhand Perlbal を使うべきでしょう。 んで、「L7ロードバランサ（要はreverse proxy）なんていらねっす。セッション？ んなのmemcachedでシェアすりゃいいんじゃん。その方がスケールアウトしやすいしー」という向きには、LinuxでL4のロードバランサするのをオススメでします。まともなL4ロードバランサが手に入るのに、金銭的コストはゼロですってよ、オクサン！ Linux Virtual Serve
[N] GoogleをProxy代わりにする方法
An easy Google proxyというエントリーより。 Technology site MarkTAW.com has posted a pretty simple way to surf the Web via a very simplified Google proxy window, but he does give a few disclaimers: Lifehackerで、GoogleをProxy代わりにする「The Google Proxy」というエントリーが紹介されていました。 方法は簡単で、http://www.google.com/xhtmlから検索するだけです。 もともとPDAでGoogleにアクセスしたところ、Googleのサーバーから去らずにPDA向けにフォーマットされたページを表示し続けたので、それをPCでも使いたいということで探したのがhttp://w
![[N] GoogleをProxy代わりにする方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/4551a4c386239a8a918ba852f25cb4d77440b9fb/height=288;version=1;width=512/https%3A%2F%2Fnetaful.jp%2Fwp-content%2Fuploads%2F2021%2F03%2Fog-image.png)
Flickr開発者が語るネットサービスの高速化方法
Web2.0としてくくられるタイプの各種ネットサービス、いわゆるウェブアプリは以前とは比較にならないほど動的生成されるものが多く、結果としてものすごい負荷をシステムにかけるわけです。 というわけで、海外におけるデジカメ画像共有サービスの代表的なものである「Flickr」の開発者がJavaScriptを高速化する手法について解説しています。 Vitamin Features >> Serving JavaScript Fast 手順を分割して簡単にしてみたり、キャッシュを使ったり、転送量を圧縮して帯域を節約したりいろいろあるようです。なお、GIGAZINEはキャッシュシステムを採用して有効活用することで負荷を現在、当初の12分の1に抑えています。 また、こっちはリバースプロキシによる高速化手法。 ViSolve.com - Squid Support Service Apacheのモジュール
mizzy.org : mod_rpaf よりも mod_extract_forwarded
mod_rpaf よりも mod_extract_forwarded Posted by Gosuke Miyashita Wed, 17 May 2006 00:54:26 GMT リバースプロキシな環境では mod_rpaf 使ったりすることが多いと思いますが、バックエンドの apache でアクセス制限かける場合には、mod_extract_forwarded を使ったほうが良いよ、というお話。 バックエンドの apache 2.0 + mod_rpaf な環境で .htaccess によるアクセス制限をかけようとしても、接続元の IP アドレスではなく、pound の IP アドレスで制限がかかってしまう、という現象に悩まされました。で、ソースを眺めてみると mod_rpaf は ap_hook_post_read_request で実行されているのに対し、mod_access は
MODULE.JP - リソースプール適材適所
Apacheにmod_rpafモジュールを組み込んでKeepAliveを有効にするとIPアドレスに変なゴミが入るけどなんで？なお話。まだ仮説の段階ですが原因と解決策。(レポート後2004/03/17にリリースされたmod_rpaf v0.5で改修されています) naoyaさんのWeblogを読んでいてmod_rpafモジュール(version 0.4)がKeepAlive Onの際に変な動きをするというお話を知りました。かなり今更な感じの反応でアレですが、ちょっと興味が在ったので調べてみたところmod_rpaf version 0.4のマズそうなところを見つけたのでご報告。 mod_rpafの概要 通常のWebサーバへのリクエストは [client] -- request --> [Web server] と、クライアント(Webブラウザ等)がWebサーバに直接リクエストを発行します。この
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://mt.taf.to/archives/2006/09/mod_proxy_balan.html
Super Proxy Script