Real time insights into LinkedIn's performance using Apache Samza
Real time insights into LinkedIn's performance using Apache Samza It's not easy to quickly gather all the data that goes into a LinkedIn page view, particularly for something like our home page. LinkedIn benefits from a very distributed service-oriented architecture for assembling pages as quickly possible while still being resilient to failures from any particular bit of content. Each bit that en
mod_pagespeed をちょっとだけ試してみた - 酒日記 はてな支店
Google の Page Speed の Apache module 版 mod_pagespeed をインストールして、ちょっとだけ動きを見てみた。 インストールは Ubuntu に deb パッケージで。 $ wget https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-beta_current_amd64.deb # sudo dpkg -i mod-pagespeed-beta_current_amd64.debconfig はデフォルトで入るものそのまま。 <IfModule pagespeed_module> SetOutputFilter MOD_PAGESPEED_OUTPUT_FILTER ModPagespeed on ModPagespeedUrlPrefix "http://localhost/mod_p
livedoor Techブログ : DB(MySQL)をファイルシステムのかわりにする Apache モジュール
こんにちは池邉です。 今回は実験的なApacheモジュールを公開してみたいと思います。。 どういう事をするモジュールかというと、あらゆるデータを MySQL に入れておき、ファイルシステムのかわりに使ってしまうモジュールです。 以下のようなテーブルを用意します。 CREATE TABLE vfs ( id INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, path CHAR(100) NOT NULL, type CHAR(32) DEFAULT 'text/plain' NOT NULL, content MEDIUMBLOB, created_on DATETIME NOT NULL, updated_on TIMESTAMP, UNIQUE KEY(path) ) ENGINE=InnoDB; Apache の httpd.conf
TAKESAKO @ Yet another Cybozu Labs: LL魂お疲れ様でした[LLSpirit]
LL魂、参加されたみなさんお疲れ様でした。みなさんのお陰で無事イベントを終了することができました。ありがとうございました。 前半の20枚だけですが、Flickrに写真をアップロードしました。 詳しい感想はのちほど。いろいろ新しい刺激を受けました。 とりいそぎ、Lightning Talksの発表資料（※画像はイメージでしたバージョン）を公開します。 イメージファイト！ - 画像に埋め込まれたPHP・XSS攻撃コードと戦う5つの方法 - 11 竹迫良範（Shibuya Perl Mongers） http://wafful.org/mod_imagefight/ImageFight-LL2007.ppt 先日、PHPの攻撃コードが隠された画像ファイルが、大手ホスティングサイトで発見されたとの報道がなされました。GIF,PNG,JPEG,BMP形式の画像ファイルには、PHPのRFI攻撃で使用さ
preforkがもたらした「小さいインフラ」思考 - shinno(鈴木慎之介)の日記
勉強会でも記述したとおり、ニコニコ動画のWebサーバはapacheのpreforkで動いてます。そのためapacheプロセスで複数立ち上げてリクエストをこなしているため、主にTCPコネクションとメモリのリソースが消費されてしまいます。そもそもpreforkの理由はphpをNon-ZTS(Zend Thread Safe)でbuildしてるからmpm(worker)ではないのですが、如何せんアプリケーションやほかのモジュールとの相性を検証した上でZTSは投入したいというのもあるため、全部投入というのは頭を悩ませます。 今回は、その悩みから「小さいインフラ」を実現するにむけてのぼんやりした思考の変化をここに書き記しておきます。 メモリ節約 まず消費するリソースで、TCPコネクションについてはOS上でオープンできるポートの論理限界値（Linuxでは20,000ぐらい？）があるので、ホストを増やす
ClearSilver を Apache のフィルタモジュールとしてインプリメントしてみた - daily dayflower
これまでもちらほらと ClearSilver という名前を聞いたことがあったんですが，YAPC::Asia での ikebe さんの発表でさらに興味を持ちました。 mod_livedoor_page.so http://www.livedoor.com/ use ClearSilver Template engine. top-page is not changed so frequently. top-page has simple data structure only. so we use C for top-page. Inside Livedoor 2006-2007 - PDFへのリンクなので注意 興味を持ちましたというか，キーくやしい（←何が？）となったので，自分でも ClearSilver を使った Apache モジュールを書いてみました。ソースはこちら。 実はググったら
เริ่มเล่นและชนะทันทีกับ PG Wallet Slot สุดยอดเกมสล็อต
ทำความรู้จักกับเกมสล็อตออนไลน์ที่ทำให้คุณตื่นเต้นและได้รับชื่อเสียงมากที่สุดในขณะนี้ – PG Wallet Slot บนเว็บไซต์ PG Wallet คุณจะได้พบกับประสบการณ์การเล่นเกมส์ที่ไม่เหมือนใคร ด้วยความคล่องตัวและความสนุกที่ไม่มีที่สิ้นสุด กับเพียงแค่ไม่กี่คลิกเท่านั้นคุณสามารถเข้าร่วมการผจญภัยในโลกของเกมส์สล็อตที่น่าตื่นเต้นและมีความสนุกสนานอย่างไม่มีที่สิ้นสุด กับผู้ให้บริการ PG Wallet Slot คุณจะได้สัมผัสกับความสนุ
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
サーバにDoS耐性を付ける - stanaka's blog
ウェブサービスでは、アクセスが集中して、サイトが落ちる、というのは、よくある話です。純粋に人気が出てアクセス集中するなら、サーバ管理側の責任と言われても、しかたないと思います。しかし、botやF5アタックによる突発的な集中アクセスで、落ちてしまう、というのは、運営側としても、あまり納得がいくものではありません。 そのような突発的なアクセスに対応するために、大量のアクセスをしてくるクライアントを検出し、優先度を落すか、アクセス禁止にする方法などがあります。 というわけで、Apacheモジュールでそれを検出するためのmod_dosdetectorを開発しました。(ちなみにコア部分の開発期間は、Apacheモジュールって、どう書くんだっけ、という状態から、3日でした。) mod_dosdetectorは、Apacheモジュールとして動作し、クライアントのIPアドレスごとにアクセス頻度を測定し、設
Name-based Virtual Host Support - Apache HTTP Server Version 2.4
This document describes when and how to use name-based virtual hosts. Name-based vs. IP-based Virtual Hosts IP-based virtual hosts use the IP address of the connection to determine the correct virtual host to serve. Therefore you need to have a separate IP address for each host. With name-based virtual hosting, the server relies on the client to report the hostname as part of the HTTP headers. Usi
http_load
http_load - multiprocessing http test client Fetch the software. http_load runs multiple http fetches in parallel, to test the throughput of a web server. However unlike most such test clients, it runs in a single process, so it doesn't bog down the client machine. It can be configured to do https fetches as well. You give it a file containing a list of URLs that may be fetched, a flag specifying
眠る開発屋blog Archives
眠る開発屋blog ある開発屋の雑感。日々勉強。 アーカイブ Javaでソースコードリーディングの本 ドライブUSB化キット「DN-IDE3525」 CentOSとApache mod_proxy_balancerで妄想すること ディベート 段取りの悪いラーメン店 create_function nanoweb Excelでメール送信 apacheのmoduleで欲しいやつ 久々にOpenIDを眺めてみたが PHP5でWebサーバ モテる返し方 mysqlクエリーチューニング mod_auth_hatena_d.cを作ってみた バブルの話２ mod_swf2html バブルの話 「その他」は作らない JSON_parser.c mod_hatena_auth.c ストアドとか 404リーダー タスポ リップに踊る freemail終了 未履修問題 進学校の思い出 予算駆動開発 東京ガールズ
apacheでロードバランサーの設定メモ : ひろゆき＠オープンSNS
【教えてくん】コミュニティーなのです。 なんかニュースとかあったらここに書こうかと思ってますよ。とりあえず、おいらのブログ apacheでロードバランサーの設定メモ : ひろゆき＠オープンSNS ひろゆき＠オープンSNS (ひろゆき＠オープンSNS) 投稿者, @ 2006-11-14 05:26:00 apacheでロードバランサーの設定メモ Livejournalの本家も使っているperlbalを入れてみるも、 秒間100アクセスを超えると突然死することあるという不具合の原因が掴みきれなかったので諦める。 ついでなので、ちょっと試してみたいと思っていた、 apacheのソフトウェアロードバランサーを試してみる、、、とは言っても、 複数のサーバがないので、まだ実用は出来ないんだけど、 1行増やすだけで対応できるはずなので設定だけ、、、 apache2.23をを下記でconfigure .
404 Blog Not Found:クローラにしかとシカトしてもらう50の方法
2006年10月28日22:30 カテゴリTips クローラにしかとシカトしてもらう50の方法 というわけで備忘録代わりに。 Apache: The Definitive Guide [邦訳:Apacheハンドブック] [を] Yahoo! Slurp に rel="nofollow" を無視されたYahoo! Slurp に一斉にアクセスされてサーバのロードアベレージが激ヤバ。 とりあえず、CGIスクリプトのファイル名を変更して回避。robots.txt 最も基本的なのがこれ。たつをくんがこれを知らないはずはないのだけど一応基本からということで。 robotstxt.org Robots Exclusion Standard - Wikipedia, the free encyclopedia http://www.dan.co.jp/robots.txt ちなみに最後のワイルドカードを
mod_loadaverage_redirect
milanoさんから始まった空前のload averageブーム！かどうかわからないけど、各所で話題になっているので自分もApacheモジュールを練習がてら作ってみました。ちなみにこのモジュールはmilanoさんがやりたそうな複雑なものにはまだ対応していません。。。 http://svn.clouder.jp/repos/public/mod_loadaverage_redirect/trunk/ LoadAverageRedirectThresholdで指定した数よりもそのマシンのload averageが高くなったら、LoadAverageRedirectURLで指定したURLにリダイレクトをするというものです。インストールは、make && make install でオッケイ。あとは、httpd.confに LoadModule loadaverage_redirect_modul
Linux の sysinfo での load average - spiritlooseのはてなダイアリー
http://naoya.g.hatena.ne.jp/naoya/20061026/1161878147 ところで load average って 0.56 とかいう数字になると思ったら sysinfo が返すのは unsigned long な5桁とかの整数でこれをどう処理したらふだん見てる待ちプロセス数を基準にした値になるのかがよくわからない。 こんな感じですかね。 #include <stdio.h> #include <sys/sysinfo.h> int main(int argc, char **argv) { struct sysinfo info; if (sysinfo(&info) == -1) { printf("could not get sysinfo\n"); return 1; } double av1, av2, av3; double shift = (
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.tyzoh.jp/modules/weblog/details.php?blog_id=1435
mod_expiresを使ったキャッシュコントロールでアクセス軽減 - ぎじゅっやさん
kazeburo : ServerAliasに*が使えた
井上の日誌 -Apacheの話-(2006-07-13) - Apacheソースコード概論