こんばんは、X-Forwarded-For警察です - エムスリーテックブログ
エムスリーエンジニアリンググループ製薬企業向けプラットフォームチームの三浦 (@yuba)です。普段はサービス開発やバッチ処理開発をメインにやっておりますが、チームSREに参加してからはこれに加えて担当サービスのインフラ管理、そしてクラウド移行に携わっています。 今回はそのクラウド移行の話そのものではないのですが、それと必ず絡んでくるインフラ設定に関してです。 アクセス元IPアドレスを知りたい Webアプリケーションがアクセス元IPアドレスを知りたいシーンというのは、大まかに二つかと思います。ログ記録用と、アクセス制限ですね。どちらもアプリケーションそのものではなく手前のWebサーバの責務のようにも思えますが、そうとも言い切れません。動作ログ、特に異常リクエストをはじいた記録なんかにセットでIPアドレスを付けたいとなるとアプリケーション要件ですし、アクセス制限についてもマルチテナントサービ
Apache ログを awk と uniq だけで集計する - Qiita
Apache の生ログをワンライナーで解析するパターン集。 例えば以下のようなリクエスト別のアクセス数など。 $ grep 01/Feb/2016:01 access_log | awk -F '"' '{print $2}' | awk '{print $2}' | sort | uniq -c | sort -n -r 69 / 48 /en/ 35 /css/base.css 23 /favicon.ico 23 /img/example.jpg grep 'May/2016' /var/log/httpd/access_log | awk '{print $4}' | cut -b 2-12 | sort | uniq -c # 日別 grep '01/May/2016' /var/log/httpd/access_log | awk '{print $4}' | cut -b 2
No space left on deviceでApacheが起動できない - Digitra
Sakuraのシンプル監視からSlackにサーバのApacheが止まったよと連絡が来てたのでサーバに入ってApacheの再起動をすると、 Apache start [OK] とは出るものの、psコマンドで確認してもプロセスは立ち上がらず。 Apacheのエラーログを見てみると、 [Tue Feb 23 09:51:10 2016] [emerg] (28)No space left on device: Couldn't create accept lock (/etc/httpd/logs/accept.lock.14907) (5) というログが出ている。 df コマンドでディスクの空き容量を確認しても、freeでメモリの空き容量を見ても特に問題ないのだが、 何度Apacheを起動してもこのエラーで上がってこない。 AWSでロードバランサ使ってとかなら、とりあえずこのサーバ外して調べた
How to encode special characters using mod_rewrite & Apache?
I would like to have pretty URLs for my tagging system along with all the special characters: +, &, #, %, and =. Is there a way to do this with mod_rewrite without having to double encode the links? I notice that delicious.com and stackoverflow seem to be able to handle singly encoded special characters. What's the magic formula? Here's an example of what I want to happen: http://www.example.com/t
mod_rewrite の R フラグと L フラグについてメモ（R を省略できる場合） - @kyanny's blog
自分自身が http://example.com/ だとして RewriteRule ^/foo http://example.jp/ [L]これは 302 Found でリダイレクトする。何気なく書いて、実際ちゃんと動いてて 302 Found なのも意図した通りで、でも「あれ？ R つけてないけどいいんだっけ？」と疑問に思ってしまったので Apache module mod_rewrite を読み直した。 Substitution 部分が http:// スキームで始まり、かつそのホスト名/ポート番号が自分自身のものと一致しない場合は 302 でリダイレクトするものらしい。具体的に、そうである、という説明が書いてあったわけではないけど、 RewriteRule ディレクティブの解説の下のほうにある例の中に ^/somepath(.*) http://otherhost/otherpat
RewriteRule Flags - Apache HTTP Server Version 2.4
This document discusses the flags which are available to the RewriteRule directive, providing detailed explanations and examples. Introduction A RewriteRule can have its behavior modified by one or more flags. Flags are included in square brackets at the end of the rule, and multiple flags are separated by commas. RewriteRule pattern target [Flag1,Flag2,Flag3] Each flag (with a few exceptions) has
mod_sslが有効にならない - myChuno::blog
Invalid command 'SSLEngine', perhaps misspelled or defined by a module not included in the server configuration ⇒mod_sslが入ってないことが原因 mod_sslをインストール。 # yum install mod_ssl これでも同じエラーが出たので、 /etc/httpd/conf/httpd.conf を見てみたら、mod_sslモジュールをロードしている記述が見当たらなかったので、以下を追記。 LoadModule ssl_module modules/mod_ssl.so Apacheを再起動して解決。
apache 2.4におけるSSL証明書の設定 - Qiita
apache 2.4（厳密には2.4.8以降）でSSL証明書の設定でちょっとハマったのでメモ。 ※CentOS 7系の標準apacheだと2.4.6のため、ここで記載するapache 2.2の方の設定になります。注意。 結論 初っ端から結論。 apache 2.4では中間CA証明書を指定する SSLCertificateChainFile ディレクティブがなくなってます。 そのためapache 2.4ではサーバ証明書と中間CA証明書、それからクロスルート証明書を一つのファイルにまとめてサーバ証明書を指定する SSLCertificateFile ディレクティブで指定します。 参考：http://httpd.apache.org/docs/current/mod/mod_ssl.html#sslcertificatechainfile apache 2.2での証明書構成 SSLCertifi
fluentdのltsv取り込み設定メモ - Qiita
# source <source> type tail format ltsv time_key time time_format %Y/%m/%d %H:%M:%S %z path /var/log/httpd/access_log pos_file /var/log/td-agent/tmp/apache.access.log.pos tag ltsv.sample </source> # match <match ltsv.sample> type stdout </match> 2014-09-14 10:15:56 +0000 [info]: adding source type="http" 2014-09-14 10:15:56 +0000 [info]: adding source type="debug_agent" 2014-09-14 10:15:56 +0000 [
いまさら fluentd をはじめてみたLTSV なにそれ美味しいの？、その２ - Qiita
いまさら fluentd はじめてみる２ 最終的な構想は、「fluentd + Kibana + elasticsearch + MongoDB」の落としどころだけど、LTSV っていうキーワードに引っ掛かったので調査してみた。 LTSV って？ Labeled Tab-Separated Values というテキストのフォーマットの仕様らしい。発想そのものはGoodだと思いますが既存システムに対応しようとするとオッサンエンジニア群が理解できなくて拒否するに300点（古いね）。 と冗談っぽかったですね（汗） LTSV は可読性が落ちるって感じました。ただ人間の目から見ての可読性であってプログラムから見れば書式が統一されているので余計なロジックが不要になるので良い傾向です（こういうとこでbugがでないのはいいこと）。あと特に最近動きのない ASF あたりが積極的に動くべきだと思うのだけど・・
ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
X-Forwarded-Forヘッダが無い場合SrcIPをコピーする（Apache） - Qiita
前置き 相当古いファイアウォール(以下「FW」)などを利用していると、パケットが機器を通過するとSrcIPがFWのものに変わり、X-Forwarded-ForヘッダにエンドユーザのIPが入るような仕組みがありました。その後次世代FWなどと呼ばれる機器の進化によってSrcIPを変えずに、アプリケーションサーバまで通信が到達するような仕組みを聞くようになりました。しかし、SaaS型WAFなど機器とアプリケーションサーバ間で物理的な接続がない（インターネットを経由するなど）場合、通信の仕組み上SrcIPを変え、X-Forwarded-ForにエンドユーザのSrcIPを格納する必要があります。 あるアプリケーションサーバでエンドユーザのSrcIPによって制御などを掛ける機能があれば、X-Forwarded-Forの値を参照して処理をしなければなりません。通常時は問題ないですが、SaaS型WAFが障
ApacheでSELinuxが原因で403 Forbiddenエラー - カタカタブログ
Cent OS 7でapacheを使っていて、以下のようなForbiddenエラーが出たときの対処法をメモ。 ちなみに前回のitamaeでのapache起動検証中に発生したエラーで、SELinuxのせいだと気づくのにちょっと時間がかかったので改めて検証した。 Macにitamaeを入れて、Vagrant仮想マシンのプロビジョニングをしてみる - カタカタブログ Forbidden You don't have permission to access /index.html on this server. 結論を言うと、SELinuxが有効な状態で、ファイルが/tmpで作られたhtmlファイルを/var/www/htmlに移動させたため、権限不足でエラーとなってしまっていた。 事象 apacheを起動し、/var/www/html/index.htmlにアクセスすると403 Forbidd
apache2.4でハマったこと | 技術的なメモ書き
apacheを2.4にしたら動かなくなった。 いつも使っているディレクティブはこんな感じ NameVirtualHost *:80 <VirtualHost *:80> DocumentRoot "/home/newuser" ServerName xxxxx.jp <Directory "/home/newuser"> Options FollowSymLinks AllowOverride All allow from all Options -Indexes AddHandler cgi-script htaccess </Directory> </VirtualHost> すると 見事にこんな感じ。 エラーログを見てみると、なんかずらずらとエラーが出てた。 その中で気になったエラー。 [authz_core:error] [pid 30160] [client 自分のIPアドレス:
[Apache] Apacheのログをデコードする方法 - Life with IT
2014/4/22更新 対応バージョン: 2.4.7 過去のApacheのログはJVNDB-2003-000047のような脆弱性を持っていたが制御コードをエスケープすることでこの問題に対応した。 それと引き換えに日本語などの文字列がそのままでは読めない状態になったので、例えば以下のPerlのワンライナーで元の文字列に戻すことができる。 アクセスログ (URLエンコード) % tail access_log ... /%E6%97%A5%E6%9C%AC%E8%AA%9E ... % tail access_log | perl -ne 'use URI::Escape; print uri_unescape($_);' ... /日本語 ... エラーログ (エスケープ) % tail error_log ... /\xe6\x97\xa5\xe6\x9c\xac\xe8\xaa\x9e
![[Apache] Apacheのログをデコードする方法 - Life with IT](https://cdn-ak-scissors.b.st-hatena.com/image/square/63c67004f340a9cfebe1346d512a10a786385cbc/height=288;version=1;width=512/https%3A%2F%2Fl-w-i.net%2Fimg%2Flogo_256.png)
Apache 2.2.25とRewriteLogのエスケープと日本語 (CVE-2013-1862) - ろば電子が詰まつてゐる
先日、Apacheの2.2.25がリリースされた(Apache HTTP Server 2.2.25 Released)。 今回のリリースノートを見ると、CVE-2013-1862(mod_rewriteのログ出力の脆弱性)が修正されたらしい。ということでその辺りを少し書いてみる。 Apacheのログ出力エスケープとap_escape_logitem まず予備知識として、Apacheはアクセスログやエラーログのログ出力時に、制御コードなど特殊な文字はエスケープしてファイルに書き出すようになっている。これは、ログをターミナル(端末)上で見るときに、制御コードの混入によって端末が意図しない動作をするのを防ぐためである(ログファイルを見るのはrootが多いだろうから、攻撃がより有効になる)。 この攻撃手法の名前はあんまり統一されていないけど、Terminal Escape Sequence In
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
apache - 504 Gateway Time-out The server didn't respond in time. How to fix it? - Stack Overflow
Apache logs -- what is difference between %a and %h?
the auto urldecode in apache mod_rewrite
日本語を含むApacheのログをデコードする