Apacheのアクセスログをsyslog経由で出力するためのモジュールを作りました : DSAS開発者の部屋
皆さんは、負荷分散環境でのApacheのアクセスログをどのように取り扱ってますか？ 通常、Apacheのログは動作サーバ上のローカルファイルとして出力されるので、 Webサーバを同時に何台も稼働させて負荷分散を行うような環境では、それらすべ てのWebサーバのログファイルを集めなければなりません。ローカルファイルとし て出力されるということは、Webサーバの台数分だけログファイルがばらけること を意味します。考えるだけでめんどくさいですね。 KLabでは、このApacheログを2パターンを使い分けて集めています。ひとつは syslogによるリモート出力を使い、全Webサーバからのログ出力を一か所に集中さ せる方法です。これは、CustomLogディレクティブにloggerコマンドを使用するこ とで可能です。 CustomLog "|/usr/bin/logger -p local6.inf
KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
Google uncloaks once-secret server - CNET
Tech Industry Google uncloaks once-secret server Unusually, the search giant designs its own servers. For the first time, Google unveils one publicly, showing a surprise built-in battery. Google for the first time showed off its server design. (Click to enlarge) Stephen Shankland/CNET Updated at 4:08 p.m. PDT April 1 with further details about Google's data center efficiency and shipping container
Apacheの設定を変更し、単一IPアドレス上で複数のSSLサイトを運用する - builder by ZDNet Japan
Apacheのバージョン2.2.12以降では、SNI（Server Name Indication）という、SSLプロトコルに対する拡張機能がサポートされているため、名前ベースのHTTPサイトを設定する場合と同じように名前ベースのHTTPSサイトを設定することが可能になっている。本記事では、Apacheのこの機能について紹介する。 Apache Webサーバがバージョンアップし、成熟していくに伴い、新機能の追加やバグの修正が行われてきている。そして、バージョン2.2.12で追加された機能のうち、最も重要なものはおそらく、単一IPアドレス上で複数のSSLサイトを運用できるようにするという、長らく持ち望まれていた機能だろう。 これまでは、特定のIPアドレスに対してSSL対応のWebサイトを割り当てた場合、そのサイト1つしかSSL対応のWebサイトを運用することができなかった。つまり、IPアドレ
lighttpd で X-Reproxy-URL ヘッダを使えるようにするモジュール mod_reproxy を書いた - KAYAC engineers' blog
ウェブアプリケーションにおいて、認証がかかっている画像や大きなファイルを配信する場合には、Perlbal 等でサポートされている X-Reproxy-URL ヘッダが有効なことが知られていて、その理由としては、 (メモリを大食いする) アプリケーションサーバのプロセスを転送終了まで占有しない HTTP ベースの分散ファイルシステムとリバースプロキシが直接交信するので、ネットワーク負荷が低い といった点が挙げられます。「でも、Apache は X-Reproxy-URL ヘッダをサポートしてないんだよねー」という話が、先日の YAPC::Asia 2009 においても話題になっていました[要出典]。回避策としては、ワンタイムURLのような手法もあるのですが、セキュリティな懸念もあります。 何とかしたいと思っていたのですが、lighttpd 1.4.x 系では fastcgi や proxy
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
Facebookのサーバーもすごいことになっている件（直近10ヶ月で20,000台のサーバーを追加。ログは毎日25TB。） - shibataismの日記
Googleに比べるととっても地味なPRしかしていないが、実はFacebookのエンジニアリングも結構すごい。CTOのJeff RothschildがUCSDで講演したビデオが見れるので今日がある方は是非見た方が良いと思います。 ビデオ http://cns.ucsd.edu/lecturearchive09.shtml#Roth http://video-jsoe.ucsd.edu/asx/JeffRothschildFacebook.asx 解説記事 http://www.datacenterknowledge.com/archives/2009/10/13/facebook-now-has-30000-servers/ ビデオを見たのが昨日なので、全部覚えていませんが、覚えていることだけでメモを書いておきます。全般的に、非常に素直な講演で、自分たちの良いところも悪いところも素直に言っ
お名前.comのVPSサーバを使うまで - UNIX的なアレ
安くて手軽に使えるVPSサーバないかなーと探していたら、見つけましたよ。お名前.comのVPSサーバです。 初期費用は5250円かかりますが、月額2940円でグローバルIPアドレスもらえてroot権限つきなら悪くないですね。 ざっくりとしたスペックは下記の通り。この価格ではなかなかのスペックだと思います。 OS CentOS 5.3 仮想化ソフトウェア Virtuozzo ディスク容量 50GB メモリ(最大) 1GB 詳細は下記から。 VPS｜ドメイン取るならお名前.com というわけでさっそく申し込みました。しかしながら、yumが使えない状態になっているのでいろいろとセットアップしました。 ちょこっとそのセットアップ手順をメモがてら載せておきたいと思います。 ファイアーウォールの設定 標準では、sshで使用される22番ポートは閉じられています。まずはセキュリティの設定からポートを解放し
数十万台のサーバを備える最新データセンター、管理はわずか数十人？
マイクロソフトがアイルランドのダブリンに最新のデータセンターを建設したと、先日の記事「マイクロソフトも最新型の冷房なしデータセンターを完成、グーグル追撃！」でお伝えしました。 このダブリンのデータセンターは、面積が約2800平方メートル（約30万3000スクエアフィート）。これは東京ドームのグラウンド約1300平方メートルの2倍以上です。 設置されるサーバの台数は不明ですが、同社がダブリンとほぼ並行してシカゴに建設していたデータセンターは約50万台のサーバが設置されると、日経コンピュータの中田敦記者が推測しています。ダブリンのデータセンターはシカゴの約半分程度と発表されているので、20万台程度のサーバが設置されるのではないかと推測して話を進めましょう。 従業員はたったの35人？ この、東京ドームのグラウンドの2倍の面積、約20万台のサーバが設置されたダブリンのデータセンターで働く従業員は何
TrafficServerProposal - INCUBATOR - Apache Software Foundation
Traffic Server Note: Traffic Server was been promoted to a top level project on April 21, 2010. As a result, the homepage, SVN directory, and wiki links have changed. Abstract Traffic Server is fast, scalable and extensible HTTP/1.1 compliant caching proxy server. Proposal The goal is to create an Apache top level project to Open Source the existing Yahoo! Traffic Server code. Traffic Server (TS f
ロケスタの新サービス「ナナピ」で使った技術を紹介してみるよ - UNIX的なアレ
http://nanapi.jp 本日2009年9月1日、株式会社ロケットスタートの新サービス「ナナピ」をリリースしました。 「ナナピ」はライフレシピと呼ばれる生活の便利な知恵や、ノウハウをみんなに共有してしまおう！というサービスです。 なんとか予定通り9/1にリリースをすることができました。すでに投稿数が160ほどあり、生活に便利な内容が投稿されています。 http://r.nanapi.jp/162/%E3%81%82%E3%81%8F%E3%81%B3%E3%82%92%E6%AD%A2%E3%82%81%E3%82%8B%E6%96%B9%E6%B3%95/ http://r.nanapi.jp/158/%E3%83%AC%E3%83%99%E3%83%AB%E3%81%8C%E4%B8%8A%E3%81%8C%E3%82%8B%E6%8C%A8%E6%8B%B6%E3%81%AE
データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ
サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。 米グーグルが今年の5月に行ったイベント「Google I/O」で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演「Transactions Across Datacenters (and Other Weekend Projects)」のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが「multihoming」（マルチホーミング）と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの
ディレクターにもおすすめ！「4Gbpsを超えるWebサービス構築術」執筆者インタビュー : LINE Corporation ディレクターブログ
こんにちは、櫛井です。 来る8月21日に、弊社のエンジニア達が執筆した本が発売になります。今回は執筆者を集めてインタビューをしてみましたので、その様子をお届けしたいと思います。インタビューするまでは「技術書読んでもわからないので今回はいいや」と思ってましたが、思いがけずディレクターにも関係ありそうな内容なので早速予約注文してみました。 ■概要 4Gbpsを超えるWebサービス構築術 著者：伊勢 幸一 販売元：ソフトバンククリエイティブ 発売日：2009-08-21 クチコミを見る ◆livedoor BOOKSで購入できます タイトル：4Gbpsを超えるWebサービス構築術 著者：伊勢 幸一,池邉 智洋,栗原 由樹,山下 拓也,谷口 公一,井原 郁央 (各プロフィールは本エントリの末尾に記載しております) 内容：実際のサービスでの適用手法を例として、快適なWebサービスを実現するための最重
FCA TOPICS 株式会社はてな様 社内サーバ向け スイッチパネル製作
株式会社はてな様 社内運用１Ｕラックサーバー向け スイッチパネル製作 平成21年3月、弊社のお問い合わせフォームから一通の御連絡が入りました。 内容を拝見すると、「自社開発ツールに用いるプリント基板製造を対応出来ますか？」というお話。 得意分野というか、本業で有る内容の為、「対応可能です」と即時お答えを返信しました。 概要からの見積を多岐企業へのお問い合わせを行われた結果、ＦＣＡを委託先へ選定して頂いたとの事。 非常に光栄です。 お客様ご理解の下、製造に関する内容を当トピックスページとして公開させて頂く事に成りました。 お問い合わせ先は、人力検索 など 有益なツールを盛り込み、一風変わったポータルサイトを提供されている、 株式会社はてな の エンジニア 吉田様からでした。 はてな ポータルサイト 吉田様 blog ■対象とされるサーバー製品の説明と製造基板の目的■ タ
Google's Chiller-less Data Center
Google has begun operating data center in Belgium that has no chillers to support its cooling systems, which will improve energy efficiency but make local weather forecasting a factor in its network management. Google (GOOG) has begun operating a data center in Belgium that has no chillers to support its cooling systems, a strategy that will improve its energy efficiency while making local weather
グーグルの最新のデータセンターは非常識なほど進化している
昨日はITpro主催のイベント「ユーザー企業のためのエンタープライズ・クラウドフォーラム」に参加してきました。 日経コンピュータ 中田敦記者のセッション「みえてきたクラウドのコスト」では、グーグル、アマゾン、マイクロソフトの最新データセンターの動向を紹介してくれたのですが、これが非常に興味深い内容でした。セッションの内容からトピックを2つほど紹介します。 大規模データセンターは7倍効率がよい 1つ目は、日経コンピュータ2009年7月8日号で同記者が記事としても書いていることなのですが、データセンターの規模の経済について。1000台クラスの中規模データセンターと、5万台クラスのデータセンターを比較すると、大規模データセンターのほうが7倍も効率がよいというデータが示されています。 つまり、ユーザーがある大きさのコンピュータリソースを調達しようとするとき、大規模データセンターは中規模データセンタ
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Capistranoでアプリケーションのデプロイ作業を効率化 - builder by ZDNet Japan
本連載の第1回から第3回までは、主にmoonlinxのインフラ技術を説明してきました。今回からはmoonlinxのウェブアプリケーション技術に着目して解説していきたいと思います。 デプロイツール「Capistrano」の魅力 ウェブメディア「moonlinx」では、moonlinx Membership Centerと呼ばれるクリエイター向けの登録制会員サービスを運営しています。これは、デザイナーや音楽活動を行うアーティストをターゲットとしたサービスであり、クリエイター自身の活動をプロモーションするツールとして活用できるサービスです。 このMembership Centerでは、フレームワークとしてRuby on Railsを利用して開発しています。また、PhusionのPassengerを利用して、Apache2上で動作させています。 Railsの運用環境は、MongrelとMongre
#!shebang.jp : 社内で使った Apache モジュールの資料
November 21, 200811:00 社内で使った Apache モジュールの資料 カテゴリ技術ネタ 社内の技術MTGで Apache モジュール入門なプレゼンをしたので、資料公開します。 非常に基礎的な内容ですが。 実際の Web サービスでの Apache モジュールの使いどころとしては、translate_name フェーズでゴニョる事が多いですね。 ユーザーへみせる URL と実体の場所との関係が複雑化してきた際には Rewrite でがんばるよりモジュール書いちゃった方がスッキリします。Apache ModuleView SlideShare presentation or Upload your own. (tags: apache module) 「技術ネタ」カテゴリの最新記事 タグ ：#apache#presentation
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tornadoドキュメント翻訳 — Tornado v0.2 documentation