Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
CVE-2011-3192 Range header DoS vulnerability Apache HTTPD 1.3/2.x - LowPriority
数日前からFull Disclosureで騒がれてたけどやっとCVE採番されたので。 以前のISC BINDの脆弱性(CVE-2011-1910)とかに比べるとzero-day状態に なったにも関わらずApache側の動きが遅い気もします。(表に見えてなかっただけ？) アドバイザリは以下 CVE-2011-3192 Range header DoS vulnerability Apache HTTPD 1.3/2.x http://mail-archives.apache.org/mod_mbox/httpd-announce/201108.mbox/raw/%3C20110824161640.122D387DD@minotaur.apache.org%3E/ DoSだけといってしまえばそれまでですが、Apache HTTPDでは久しぶりに 現時点で出ている全バージョンが対象 (2011/
Apache の脆弱性対策：Apache Killer 対策 | 空模様
Apache Killer が危険そうなので対策を実施した。 ●Apache Killer とは GET もしくは HEAD メソッドで、多数のRange指定を含むリクエストを送ることで、ターゲットシステムのメモリとCPUを消費させるというもの。 8月20日に公開されたApacheの脆弱性（英語）をついたもので、現在パッチはリリースされていない（但し、8月25日時点で Apache 開発チームが、48時間以内にパッチをリリースすると発表している）。 ●攻撃を受けると具体的にどうなるか 仮想 OS で立てたサーバに攻撃を行い、どういう事象が発生するか実験してみた # Ubuntu 10.0.4 LTS # Apache 2.2.14 攻撃パケットは以下の画像の通り、Range ヘッダーに複数の指定を行うという単純なもの。尚、攻撃コードを見ると perl の fork を利用して並行で複数の
log4j-properties Converter-Oboe吹きプログラマの黙示録
Google guice Google guice Homepage mybatis(iBATIS3) Google code Project crazybob guiceを作った．．． Wicketチュートリアル Wicketチュートリアル Old JDK Old version JDK Java祝日計算 祝日法に沿って作ってみた。 My Element jsuite log4.properties を log4j.xml に変換するツールを見つけた。 http://code.google.com/p/log4j-properties-converter/ zip をダウンロードして展開すると、Windows用 bat ファイルと UNIX 用に シェルファイルが存在する。 使い方は、c:\work に log4j.properties が存在するなら
httpd.confについて調べたのでまとめたよ - とある技術の備忘録
最近学科の友人3人とサーバ/セキュリティについての勉強会を週1で行っていて、毎回何か調べてくることになっており、今回は apache の設定について少し調べてきました。初心者がまとめたので間違っている部分があるかもしれませんが、勉強の役に立てて頂ければ幸いです。 httpd.confはどこにある？ 最小限のhttpd.conf 3つのセクション セクション1: GlobalEnvironment セクション2: MainServerConfiguration セクション3: VirtualHosts モジュールの追加 外部設定ファイルの読込み サーバリソースの監視方法 httpd.confはどこにある？ OSによって異なりますが、以下の階層に置いてある可能性が高いです。 CentOS、FedoraなどRed Hat系 /etc/httpd/conf/ SUSE系、MacOSX /etc/a
プロのサーバ管理者がApacheのStartServers, (Min|Max)SpareServers, MaxClientsを同じにする理由 - blog.nomadscafe.jp
kazuhoさんが「プロのサーバ管理者の間では存在価値が疑問視されて久しい (Min|Max)SpareServers だと思う」と書いたり、hirose31さんが去年のYAPC::Asiaで{Start,{Min,Max}Spare}Servers,MaxClientsは同じにしているよと発表したり、実際前職のサーバはそのように設定されていたのですが、自分でうまく説明ができてなかったので、調べながら書いてみた。 本当はイントラブログ用に書いていたものですが、がんばったので転載。 前提として、CPUの使用率におけるsystemとfork Re: クラウドがネットワークゲーム開発者にもたらしてくれたもの - blog.nomadscafe.jpでも書いている通りforkってのはサーバにとって重い部類の処理になります。つまり負荷の高いときにforkを大量に行うのはしてはならないことの１つです。
mod_ktai/YUMEMI Labs [ゆめみラボ]
４．mod_ktai_info(端末情報取得モジュール) モジュール説明 アクセスした端末のUser-Agentと、独自に作成した機種情報リストを元に、携帯を判別し、環境変数に様々な値をセットします。 セットされた環境変数をApache上のアプリケーションから利用することで、手軽に端末情報を取得する事が可能です。 環境変数の詳しい一覧はこちらへ なお、上記の解析処理に利用する機種情報リストはサイズが大きいですが、Apacheモジュールが起動時に読み込みメモリに展開しますので、高速に処理を行うことが可能です。 さらに機種情報リストの更新はリアルタイムで行なう為、Apacheの再起動を行うことなく再読込を行うことが可能です。 インストール rpmパッケージをダウンロードし、通常のrpmパッケージと同様にインストールします。 rpmパッケージは以下からダウンロードして下さい。 ７．
embomaコラム
株式会社えむぼま CTO 高見禎成 ■swapさせずに最大プロセス数にせよ！ WWWサーバが最大パフォーマンスを出すには 1) SWAPさせないで 2) 最大プロセス数に設定する ことが最大の条件です。 他にapacheのhttpd.confでHostNameLookups offにしてログ記録時の名前解決をなくす等細かい積み重ねはいくつかありますが、最大のポイントは上記2条件でしょう。 ■最大プロセス数は揃えよ！ SWAPさせない最大プロセス数をいくつにするかはこの後見ていきますが、どの値にするにせよapacheとtomcatとDBの最大プロセス数は揃えましょう。 apacheのMaxClietnsは標準で255、tomcatのMaxThreadsは標準で150、MySQLのmax_connectionsは標準で100です。 apacheが2台でMySQL 1台に接続しているなら、MyS
WebDAVでアクセスできるGitリポジトリの作成手順 - うなの日記
WebDAVでpushできるGitリポジトリを作ったのでメモ。 以下は、 ロカールにあるGitリポジトリ「hoge」を、 WebDAVでpushできるGitリポジトリとして「http://foo.com/git/hoge.git」で公開したい! 場合の作業手順です。 環境 使用した環境は次の通り。 クライアント OS: WindowsXP Git: Cygwin版Git v 1.5.5.1 公開先サーバー(foo.com) OS: CentOS 4 Git: v 1.5.2.1 Apache: 2.0.52 概要 apacheにWebDAVの設定をする。 リポジトリ「hoge」の裸(bare)のクローンを作る。 作成したクローンをサーバーに送付 クローンを公開リポジトリに配置し、公開設定をする。 クライアントからcloneしてみる。 1.apacheにWebDAVの設定をする。 公開サーバ
Apache+capistranoでメンテナンスページを表示する方法 - Hello, world! - s21g
capistranoには、以下のコマンドを実行する事で、メンテナンスページを用意する機能があります。 コマンドを実行すると、デプロイ先のサーバ上で、shared/system/maintenance.html が生成されます。 shared以下のディレクトリは、public/の下にシンボリックリンクが作成されるので、 結果としてpublic/system/maintenance.htmlが準備される事になります。 しかし、capistranoがやってくれるのはここまでなので、 maintenance.htmlが存在した場合にそれを表示するようにするように、 Webサーバを設定する作業は自分でやる必要があります。 mod_railsとかでその辺まで面倒みてくれる感じになっていると楽なんですけどね。 その設定については、Apacheを使っている場合は以下のような感じにすればOKです。 1 R
結構ハマりました。。。 - Mercyのφ(．． )メモメモ
せっかくなので、切り分けの流れを追って解説しまぷ。 Apache2.2.10とTomcat6.10.16、RedHatでのお話 mod_proxy_ajpモジュールは、コンパイル時に組み込んでいる。 まず、こんな感じのエラーがでた。 [日付] [error] (70007)The timeout specified has expired: ajp_ilink_receive() can't receive header [日付] [error] ajp_read_header: ajp_ilink_receive failed [日付] [error] (120006)APR does not understand this error code: proxy: read response failed from （localhost） とりあえず、ApacheとTomcat間の連携に使
＠IT：httpd.confによるWebサーバの最適化（1/3）
などに配置されています。 なお、httpd.confの更新内容を有効にするには、httpd.conf編集後にApacheを再起動する必要があります。Apacheの再起動は、第1回の「起動／終了、サービスの登録」を参考にしてください。 不要な機能、設定の削除 不要なモジュールの削除 Apacheは、モジュールによって機能を追加することができます。Apacheインストール時に組み込まれているモジュールは、以下のようにして確認できます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://webcache.googleusercontent.com/search?q=cache:NA9e9yWVjAEJ:d.hatena.ne.jp/r7kamura/20110222/1298371277+Linux+D+%E5%89%B2%E3%82%8A%E8%BE%BC%E3%81%BF%E4%B8%8D%E5%8F%AF+Apache&cd=6&hl=ja&ct=clnk&gl=jp&source=www.google.co.jp
IDEA * IDEA
Axis 1.4 Read timed out and HTTP 1.1 · samaxes
Solaris10 with Apache - europa's free space
Ethna+Firefox+プロキシで http→https間を移動するとセッションが切れる - diary@longkey1.net
bayashi.net
Module Index - Apache HTTP Server
Apache HTTP Server Version 2.2 Documentation - Apache HTTP Server