ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
10分でルーターを透過プロキシ化する方法 - aquadrops *
前回ご紹介した、CentOSで堅牢なPPPoEルーターを1時間で作る方法のおまけ。 ルーターにsquidを使った透過プロキシを設定して、ブラウジングをさらに加速させてみます。 10年ほど前は上位回線が今ほど太くなく(地方のISPだと1Mbps単位で増速とかざらにありました)、帯域節約の為に大手ISPでもプロキシサービスがあったりしたものです。 最近ではギガビットバックボーンが当たり前になっていますので、回線がネックになる事は殆どなくなりました。逆にサーバー側でネックになりつつありますね。 現在は画像を多用したコンテンツが当たり前ですが、毎度毎度同じ画像をサーバーに参照しにいくのも非効率なので、ある程度キャッシュする事でレンダリングを速くする事にします。 自宅や会社等に複数台マシンがある場合、同じサイトを見る事も多くあるかと思いますので、キャッシュする事で回線を有効活用できるかと思います。特
Squidの更新パターンでインターネットアクセスを高速化する
プロキシキャッシュサーバであるSquidの設定パラメータを用いてバイトヒット率を上げれば、利用可能な帯域幅を3～6割近くも拡大できる。Webサイトの最適化を考えるあなたにはまずこれを試してみていただきたい。 帯域幅の制限は、インターネットに接続している多くの人にとっていまなお残る問題の1つだ。しかし、プロキシキャッシュサーバSquidをネットワークにインストールし、設定パラメータを用いてバイトヒット率を上げれば、利用可能な帯域幅を3～6割近くも拡大できる。 Squidは、きめ細かいチューニングによってさまざまなニーズに対応できる。現行の安定版には少なくとも249個のパラメータがあり、丁寧なコメントがついた設定ファイル（通常は「/etc/squid.conf」）は4600行以上もある。このボリュームには、経験豊かな管理者でも圧倒されるだろう。設定の変更はすべてこのファイル上で行う。 1週間で
natテーブルを利用したLinuxルータの作成
サーバとして ・外部からの接続パケットは基本的にすべて破棄 ただし接続済み通信のパケットは許可 ・内部からの接続パケットは基本的にすべて許可 ・ループバックアドレスに関してはすべて許可 ・メンテナンスホストからのping、メンテナンスホストへのpingを許可 ・メンテナンスホストからのssh（TCP 22）を許可 ・内部ネットからのHTTPプロキシ（TCP 3128）を許可 ルータとして ・Linuxサーバを経由して外部へ出ていくパケットのソースアドレスを変換 ・内部アドレス→外部アドレス ・内部アドレスやプライベートアドレスが外部に漏れないようにブロック ・内部から外部ネットに出ていくHTTPサービスのパケットを書き換え ディスティネーションアドレスをプロキシサーバ（Linuxサーバ自身）のアドレスとサービスポート（TCP 3128）に HTTPサービスのパケット：ディスティネーションポ
Squidメモ
１．目的 Squid は、いわゆる Proxy Cache サービスを提供するデーモンです。Proxy とは、たとえばインターネットで WEBサイトを見に行く時に、パソコン上の WEB ブラウザ（ネットスケープだとかインターネットエクスプローラだとか）の『代理人』になって、リクエストされた URL からページを取得してきてそれを要求したパソコンへ渡す、いわゆる『代理サーバ』です。そして、Proxy Cache は、その取得履歴をキャッシングして、同じ場所への他のパソコンからのリクエストには自分が「代理で」答えてしまうのです。 このしくみの最大のメリットは、LAN 上の誰かが開いたページは、その内容が更新されていない限り次の同一リクエストに対してはキャッシュされているデータを返すという振る舞いをするため、WAN（＝インターネットと接続している専用線など）にかかる負荷を最小限度に押さえることが
Squidの設定 【Squid Web プロキシ & キャッシュ(Squid Web Proxy Chche & squid.conf Manual)】
Squid(スキィッド)はWebがサポートしているHTTP,HTTPS,FTP等のためのキャッシュプロキシ（caching proxy）です。 頻繁に要求されたWebページをキャッシュして再利用することで回線の帯域が減少され応答時間を改善します。Squidは、広範囲なアクセス制御を持ったサーバー·アクセラレータを与えてくれます。 これは、Windowsを含むほとんどの利用可能なオペレーティングシステム上で動作しGNU GPLの下でライセンスされています。 HTTPプロトコルの開発者達は、早い段階でWebコンテンツの爆発的な増大による回線帯域の圧迫について認識していました。 そのための解決策として、Webコンテンツのオブジェクトについては、クライアントに近い場所にキャッシュするアイデアがありました。 Squidは90年代の半ばに、コンテンツの配信とキャッシュを目的に生まれたProxyの開発プ
Squid で SNMP
squid の設定の続きです。 squid は SNMP に対応しています。通常ソースからコンパイルするときに --enable-snmp オプションをつけておかないと SNMP が有効になりませんが、Red Hat の RPM パッケージ版ははじめから有効になっています。SNMP を使うためには squid.conf を次のように編集します。 …… acl snmppublic snmp_community public …… snmp_port 3401 snmp_access allow snmppublic localhost snmp_access deny all snmp_incoming_address 0.0.0.0 snmp_outgoing_address 255.255.255.255 …… squid を再起動します。 # service squid restar
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
squidのaccess.logがapacheの形式にならない件 - むぎちょのつぶやき
http://nos-takamatsu.ddo.jp/linux/redhat/squid1.html