Hadoop + Hiveでapacheアクセスログ解析 combined Format編 - 備忘録
テーブルを作成します。hive-contrib.jarを組み込まないとcombined Formatの集計が出来ないので注意です。 hive> add jar /ebs/hive-0.7.0-bin/lib/hive-contrib-0.7.0.jar; Added hive-contrib-0.7.0.jar to class path Added resource: hive-contrib-0.7.0.jar hive> CREATE TABLE apachelog2 ( > host STRING,dentity STRING,user STRING,time STRING,request STRING, > status STRING,size STRING,referer STRING,agent STRING) > ROW FORMAT SERDE 'org.apache.h
これぐらいやっとけ 〜Linuxサーバのセキュリティ設定〜 - nabeの雑記帳
管理中のサーバで行っているセキュリティ設定を公開します。本当はこういうことを公開するのはよろしくないのですが、脆弱サーバが氾濫している現状そこが踏み台となってsshアタックされるのも迷惑極まりないので、最低限やっとけという内容でまとめました。*1 起動サービスと概要 iptables/Firewallの設定 iptablesの中身 limit-burstについて hashlimitについて hosts.allow/hosts.deny(TCP Wrapper)の設定 sshdの設定 その他の設定 Apacheの設定 Postfixの設定 Dovecotの設定 まとめ 起動サービスと概要 Apache (www) sshd smtp/pop bind (DNS) ntpd いくつかの注意点。 sftpで十分なのでftpdは使わない。WinSCP等を使えばffftpに依存する必要はない。*2
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Slowloris HTTP DoS 攻撃について
ちょっと前に Apacheに新たな脆弱性発見 - スラッシュドット・ジャパン で紹介されていた脆弱性なんですけど・・・会社のお達しで各サービス毎に状況報告ってイベントがあったので、ちょいと脆弱性試験してました。そのまとめです。 Apacheに、DoS攻撃に繋がる脆弱性が新たに見つかったそうだ（本家/.記事より） この脆弱性は、これを利用したHTTP DoSツール「Slowloris」がリリースされたことから明らかになったとのこと。この攻撃ツールはApacheに不完全なリクエストヘッダーを送り続けるもので、Apacheが最後のヘッダが送られてくるのを待つ間、偽のヘッダを送ることで接続をオープンにし続け、Apacheのプロセスを一杯にさせるものだという。 脆弱性はApache 1.x、 2.x、 dhttpd、 GoAhead WebServer、そしてSquidにて確認されているが、IIS6
Apache DoSアタック対策 - luminのコードメモ
2009/6/17 にSlowloris というツールにより低帯域でApacheをDoSアタックできる脆弱性が発見された。 ApacheはWebサーバのシェアの50%近くを占めるため。影響は大きいはずなのだが。あまり騒がれていない、よくDoSアタックを食らうサイトでは必ず対策が必要だと思うのだが、対策は進んでいるのだろうか？ 対策は単純ではないので、最新版のApacheでも対策はとられていない。根本に近いところなので容易ではないと思うが、攻撃に対しての対策は可能なので、OnePointWallのルールとして作ってみた。 IoTセキュリティとゲームセキュリティの会社｜ネットエージェント株式会社 脆弱性があるといわれているhttpd Apache 1.x Apache 2.x dhttpd GoAhead WebServer Squid (unconfirmed) WebSense "bloc
mod_proxy - Apache HTTP サーバ
このモジュールは Apache のプロキシ/ゲートウェイ機能を実装しています。 AJP13 (Apache JServe Protocol version 1.3), FTP, CONNECT (SSL 用), HTTP/0.9, HTTP/1.0, HTTP/1.1 のプロキシ機能を実装しています。これらのプロトコルやその他のプロトコル用の プロキシ機能を持った、他のモジュールに接続するようにも設定できます。 Apache のプロキシ機能は mod_proxy の他に、 いくつかのモジュールに分割されています: mod_proxy_http, mod_proxy_ftp, mod_proxy_ajp, mod_proxy_balancer, mod_proxy_connect です。ですから、 特定のプロキシの機能を使いたい場合は、mod_proxy と 該当するモジュールをサーバに (
Kung Noi:rewriteモジュールでURLを書き換えろ！
Apacheにはrewriteモジュールという大変便利なモジュールがある。こいつは、内部でURLを書き換えることができる。内部でURLを書き換えるって・・・、何ができるんよ。っていう人、こんなんできるんだよー。 PHPやCGIで動的ページを作りたいけど、GoogleやYahooのサーチエンジンに登録されなくなるんだよ・・・ 携帯でのアクセスは別ページにしたいけど、www.a.com/i/みたいにしたくない・・・ 動的ページでページがまだ作成されてない時にCGIへ飛ばしたい・・・ レンタルサーバで共有SSLがあるんだが、CGI、PHPはHTTPSで、それ以外はHTTPにしたいな・・・ 特定のリファイラやロボットにはアクセスさせたくない などなど、この他にもやり方次第でいろいろできちゃうんだよね。こんな便利なモジュールは是非使わないと。。。 前提条件 前提条件としては、もちろんApacheでr
ApacheのProxyPassディレクティブで正規表現 - 元RX-7乗りの適当な日々
Apacheのmod_proxyで使えるProxyPassってディレクティブがあります。 http://httpd.apache.org/docs/2.2/ja/mod/mod_proxy.html 詳しい説明は、面倒くさいので省略しますが、リバースプロキシとして利用するときに、 ProxyPass /app http://192.168.1.100:3000 みたいな感じで、"/app"以下のアクセスは、全てバックエンドの"http://192.168.1.100:3000"に丸投げ、みたいな書き方をするのですが、このディレクティブで指定できるURLに今まで正規表現が使えなかったのですよorz ところが、2〜3ヶ月前にリリースされたApache2.2の最新版(2.2.6)では、ProxyPassMatchディレクティブが新しく追加されていて正規表現が使えるようになりました！(^^)/ *
Apache(Linux)に、Windowsドメイン認証を利用して、シングルサインオンを実現する詳細手順 - 元RX-7乗りの適当な日々
Linuxで稼動させているApacheにて認証が必要なWebサービスに、Windowsドメイン(Active Directory)の認証情報を使って、シングルサインオンを実現させるまでの手順を備忘録として残しておきます。 今回、ブラウザは、IEとFirefoxにて動作確認を行いました。 Windowsドメインログオンをしているクライアントから、上記2種類のブラウザを使うと、NTLM認証※を利用しているWebサービスには、認証済みのドメインログオンの情報を利用することができ、ユーザ名やパスワードを入力する必要の無いシングルサインオン環境が実現できます。 ※NTLM認証（NT LAN Manager authentication）とは - IT用語辞典 e-Words 前提 今回利用した構成は以下のような感じ。 Webサーバ CentOS 5 Apache 2.2 + mod_auth_ntl
Open Fusion
Apache mod_auth_tkt Current version: mod_auth_tkt 2.1.0 Introduction mod_auth_tkt is a lightweight single-sign-on authentication module for apache, supporting versions 1.3.x, 2.0.x, and 2.2.x. It uses secure cookie-based tickets to implement a single-signon framework that works across multiple apache instances and servers. mod_auth_tkt itself is completely repository-agnostic, as the actual authen
mod_perl2 の $r->path_info 等のクセ - daily dayflower
Apache2::RequestRec#path_info() 等を触っててもどうも安定しないというか望み通りのものが得られないなぁと思っていたんで調べてみました*1。 まずは Apache2::RequestRec のリファレンスから。 path_info Get/set the PATH_INFO, what is left in the path after the URI --> filename translation: （略） filename Get/set the filename on disk corresponding to this response (the result of the URI --> filename translation). （略） この下線部がにおいます。なので，実験。 <Location /sandbox/abc> SetHandler
Apacheやlighttpdへのアクセス状況をリアルタイムで確認できる「ApacheTop」を使ってみた - 元RX-7乗りの適当な日々
ApacheなどのWebサーバを運用していると、たまにリアルタイムで今現在の利用状況や負荷などがどうなっているかを確認したくなるときがあります。 そこで、UNIX/Linuxの"top"ライクに、Apacheの使用状況を確認することができるのが「ApacheTop」と呼ばれるツールです。 インストール インストールはパッケージ管理されているものを使うので簡単です。 $ sudo apt-get install apachetopUbuntuやDebianなど、APTを使っているなら↑のような感じ。 $ sudo yum install apachetopFedoraなど、YUMを使っているなら↑のような感じです。 早速使ってみる 使い方は、"-f"オプションでApacheのログファイルを指定して使います。 $ apachetop -f /var/log/apache2/access_log
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
Apache HTTP サーバ バージョン 2.0 ドキュメント
Web 時代の非リレーショナルデータベース: 第 2 回 Apache CouchDB と Ruby on Rails を使って wiki アプリケーションを作成する
https://blog.8-p.info/2009/05/test-apache2-released
中国QQのHTTPサーバーが、ApacheとIISに次ぐ存在に急浮上
Apache+mod_proxy で Referer ヘッダを削除する方法: 不写的詩人
http://neta.ywcafe.net/000938.html
Client Challenge