タグ

webとnetworkに関するrhosoiのブックマーク (20)

  • 負荷試験ツール「インターネット破壊」を公開しました : DSAS開発者の部屋

    負荷試験ツール インターネット破壊を公開しました。 こちらはずっと社内で負荷試験に使用していたツールです。社内で使用していたものなので、ソーシャルアプリ向けの機能などが多少追加されていますが、もちろんんそれ以外のWebアプリケーションでも使用できます。 基的にはApache JMeterのようなWebアプリケーションむけのシナリオ負荷試験ツールです。コマンドラインオペレーションだけで実行でき、サーバー上で簡単に負荷試験を実施できるのが特徴です。POSTリクエストなどはもちろん、レスポンスのチェックやUserAgentの偽装、ランダムな値をパラメーターにセットする機能も実装しています。 注意: 当然ながら自分の管理下にないサイトに向けて負荷試験ツールを実行するのは絶対にやめてください。非常に危険です。 物騒な名前がついていますが、これは完全にわたしの小児的感性の趣味によるところです。地震で

    負荷試験ツール「インターネット破壊」を公開しました : DSAS開発者の部屋
  • オープンソースの侵入検知エンジン「Suricata 1.0」がリリース | OSDN Magazine

    非営利団体The Open Information Security Foundation(OISF)は7月1日、オープンソースの侵入検知・防止エンジン「Suricata 1.0」をリリースした。ライセンスはGPL v2で、WindowsMac、FreeBSD、UNIX、Windowsに対応。同団体のWebサイトよりダウンロードできる。 OISFは米国国土安全保障省科学技術局などの支援を受けて設立された非営利団体。次世代の侵入検知システム、侵入防止システム用のエンジン開発を目的としており、米Breach Securityなどの企業も参加している。 SuricataはSnortルールセットを利用した侵入検知エンジン。マルチスレッド、自動プロトコル検出、GZIP解凍、独立したHTTPライブラリ、HTTPログとPostgreSQLログモジュールなどの機能を持つ。2009年12月にベータ版がリリ

    オープンソースの侵入検知エンジン「Suricata 1.0」がリリース | OSDN Magazine
  • データベースサーバを複数台構成とか2010年代には流行らない - blog.nomadscafe.jp

    奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」にフォローのような感じで。 例によってタイトルは煽りです。 奥一穂さんのエントリーでは、「5,000万PV/Month」という見積もりでアプリケーションサーバの台数を1台と計算していますが、これからは「1,000万PV/Day」を超えるサイトが多く生まれてくると予想しています。どんなサイトかというと、mixiアプリやモバゲーなどにソーシャルゲームを提供するサイトです。 ソーシャルゲームサイトのキャパシティプランニングについては中澤さんのエントリーが参考になります。 The Art of モバゲー Capacity Planning The Art of Mixi-mobile-appli Capacity Planning 最も人気がでた場合には数千万から数億PV/Dayという数字がならんでいます。怖い怖

  • YAPC::Asia 2009で大規模画像配信とPerlについて発表しました - mixi engineer blog

    開発部・システム運用グループの長野です。9月10日・11日に東工大大岡山キャンパスで開催されたPerlのカンファレンス、YAPC::Asia 2009に参加してきました。 昨年は2つのセッションをやらせて頂きましたが、今年は1つだけ発表をしましたので、資料を公開します 大規模画像配信とPerl SlideShareで公開しています。 大規模画像配信とPerl View more documents from kazeburo. 一部アニメーションを利用していますので、PowerPointもあわせて参照してください。 mixiの画像配信については、このブログや技術評論社様の雑誌等を通して何度か紹介していますが、今回は携帯向けの画像配信、特に画像の動的変換について取り上げました。 画像を扱うライブラリはいくつも種類があり、変換速度や変換後の画像に違いがあります、今回の発表ではその比較もしていま

    YAPC::Asia 2009で大規模画像配信とPerlについて発表しました - mixi engineer blog
    rhosoi
    rhosoi 2009/09/16
    子供が可愛すぎる・・・っ!
  • Amazon.co.jp: 4Gbpsを超えるWebサービス構築術: 伊勢幸一, 池邉智洋, 栗原由樹, 山下拓也, 谷口公一, 井原郁央: 本

    Amazon.co.jp: 4Gbpsを超えるWebサービス構築術: 伊勢幸一, 池邉智洋, 栗原由樹, 山下拓也, 谷口公一, 井原郁央: 本
  • ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog

    Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と3サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ

    ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
    rhosoi
    rhosoi 2008/08/22
    つづき
  • mixi Engineers’ Blog » ロングテールな画像配信 その1

    開発部・システム運用グループの長野です。最近は「サーバ/インフラを支える技術」を読みながら通勤しています。今回はmixiの画像配信について書かせて頂きたいと思います。1回目は画像配信の課題について説明させて頂きます。 ■画像配信の種類 これまで画像の配信は大きく分けて2種類あると考え、システムを構築してきました。1つは1ファイルあたりへのアクセスが非常に多くなりますが、ファイル数が少ないもの。もう一つはファイル数が膨大になる代わりに、1つのファイルへのアクセスは少ないものになります。 前者はmixiの中で使われるロゴ画像やメニューの画像等のページ部品、また広告画像や絵文字画像になり、後者はユーザがアップロードする日記やアルバムの画像にあたります。ページの部品の画像はファイル数はそれほど多くないものの、サーバへのアクセス数が最大で秒間に数万リクエストにもなります。逆にアルバムや日記の画像は全

    mixi Engineers’ Blog » ロングテールな画像配信 その1
    rhosoi
    rhosoi 2008/08/14
    大ヒット画像の配信とはまったく違う話
  • NameBright - Coming Soon

    coralcdn.org is coming soon This domain is managed at

    rhosoi
    rhosoi 2007/11/06
    P2Pを利用したWebコンテンツの配信ネットワーク
  • アダルトサイト用「.xxx」ドメイン、ICANNが否決

    rhosoi
    rhosoi 2006/05/12
    個人的にはこーいう「~専用TLD」は全部いらねー気はするな(じゃあ.comはどうやねん!ってのは置いといて)
  • SNSは今後どう発展する? | スラド IT

    sillywalk曰く、"SNS(Social Networking Service)といえばmixiのような巨大ネットワークがつとに有名ですが、産経新聞の記事によると、最近は地域に密着した「地域SNS」と称する小規模ネットワークが注目されているそうです。例えば東京都千代田区の地域SNS「ちよっピー」では、同区内で発生した殺人未遂事件を発生直後から概要を紹介し、地域住民が報道に先駆けて情報共有したため、園児や児童の保護者送迎がスムーズに行われたといいます。これは行政サイドがSNSによって地域コミュニティー再生を企図した例ですが、他にも民間による地域SNSも増えつつあるそうで、「どこの幼稚園がいいのか」「どこの病院がいいのか」といった地域に密着した情報が、信頼性を向上させつつ得やすくなったといいます。 こうした状況からGLOCOMの庄司昌彦研究員は「実名性の回復により、現代社会の希薄な人間関

    rhosoi
    rhosoi 2006/04/25
    なかなかの議論だと思うんだけど、どーよ?
  • SquidRestrict

    rhosoi
    rhosoi 2006/03/30
    squidの管理ツール
  • Ad Zapping With Squid

    Cameron Simpson <cs@zip.com.au> SourceForge Project Page and mailing lists, Freshmeat Project Record, Changelog Quick installs: Debian, FreeBSD, Gentoo, NetBSD. Translations: Belorussian by Patricia Clausnitzer at FatCow, Hindi by Outshine Solutions. This is a redirector for squid that intercepts advertising (banners, popup windows, flash animations, etc), page counters and some web bugs (as found

    rhosoi
    rhosoi 2006/02/04
    squidでバナー広告をカットする(squidだけじゃなく、apacheのmod_proxyも使用可能みたい)
  • http://noc.wikimedia.org/stats.php

    rhosoi
    rhosoi 2005/11/20
    まだピークで4.5Kreq/secの350Mぐらいだけど、右肩上がりがすごいな~
  • ウィキメディアのサーバ - Meta-Wiki

    注意:このページは長らく更新されておらず、実際のウィキメディアのサーバ構成を伝えるものではありません。wikitech.wikimedia.orgやWikimedia serversの情報は、比較的最近の状況を反映しています。 2004年9月のウィキメディアのサーバ群 Other languages: de, en, eo, es, fr, it, ko, zh, ua 関連項目: Wikimedia ハードウェアの状況 ウィキペディアを含むウィキメディアのプロジェクトはいくつかのサーバ上で運営されています。 それぞれのサーバの名前は歴史的に有名な百科事典編集者から付けられています。

    ウィキメディアのサーバ - Meta-Wiki
    rhosoi
    rhosoi 2005/11/20
    可搬性と規模の拡張性を考えるとやはりsquidがリーズナブル、急激なアクセス増時には99%キャッシュで吐ける
  • The C10K problem

    [Help save the best Linux news source on the web -- subscribe to Linux Weekly News!] It's time for web servers to handle ten thousand clients simultaneously, don't you think? After all, the web is a big place now. And computers are big, too. You can buy a 1000MHz machine with 2 gigabytes of RAM and an 1000Mbit/sec Ethernet card for $1200 or so. Let's see - at 20000 clients, that's 50KHz, 100Kbytes

    rhosoi
    rhosoi 2005/11/18
    ちゃんとzero-copyとかも書いてるじゃんか
  • sourceforge.jp

    We’re getting things ready Loading your experience… This won’t take long.

    rhosoi
    rhosoi 2005/11/17
    レイヤ7対応ultramonkey
  • Ultra Monkey:

    チャットボットサービスは年々その市場規模を拡大していますが、その中でも高い効果を実感でき、比較的安価に利用できることで人気なチャットプラスというサービスがあります。 チャットボットを導入したいけどサービスごとにどんな違いがあるのかわか...

    Ultra Monkey:
    rhosoi
    rhosoi 2005/11/17
    LVSダイレクト・ルーティングのスループットに刮目せよ
  • リバースプロキシ & ロードバランサ ― Pound

    リバースプロキシ & ロードバランサ(reverse-proxy and load-balancer)で、 リバースプロキシ : ブラウザからのリクエストを1台以上のバックエンド・サーバに渡す(バックエンド・サーバからは、Pound が動作しているマシンからのリクエストにみえる)。 ロードバランサ : 複数台のバックエンド・サーバにリクエストを分配する(優先順位の設定可)。 SSLラッパ : ブラウザからのHTTPSリクエストをHTTPでバックエンド・サーバにリクエストする(HTTPしかサポートしていないサーバをHTTPS対応にできる)。 HTTP/HTTPS サニタイザー : 要求の正当性を確認し、正しいもののみを受け入れる。 フェイルオーバー : バックエンド・サーバのヘルスチェックを行い、ダウンしているサーバにはリクエストを送らない。復帰を検出したら自動的に通信を再開する。 リクエス

  • http://www10.ocn.ne.jp/~sayu/other/pound.html

  • SquidによるReverse Proxyの構築

    Squid2.6STABLE8以降は、"http_port" の "accel" オプションでリバースプロキシ(アクセラレータ)を指定するようになった。 Squid-2.5以前のアクセラレータモードの動作はまったく異なるため、引き続き使用する場合は2.6以降にアップグレードすることを強くお勧めします。 このページでは、リバースプロキシ(Reverse Proxy)を使った、Webサーバのパフォーマンス改善について示します。 このページは次のような章立てになっています。 1章ではリバースプロキシの概要、2章では普通のリバースプロキシと透過モードでのリバースプロキシの比較、3章ではリバースプロキシでのキャッシュの働き、4章ではSquidをリバースプロキシとして機能させる設定 1章、リバースプロキシの概要 2章、普通のリバースプロキシと透過モードでのリバースプロキシの比較 3章、リバースプロキシ

    rhosoi
    rhosoi 2005/11/17
    X_HTTP_FORWARDED_FORについては記述なし
  • 1