How to block TOR exit nodes from accessing your website on Apache and Nginx | Reaper-X
If you ever want to block TOR users from your accessing website completely or block them from accessing specific file(s) / location(s) only for any reasons you may have and you’re running Nginx or Apache, hopefully this post can help you with that. First thing first, the command used here for both Apache and Nginx were designed to be use in cron because TOR ip often change. But make sure that it’s
GoAccess - Visual Web Log Analyzer
What is it? GoAccess is an open source real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser. It provides fast and valuable HTTP statistics for system administrators that require a visual server report on the fly. Why GoAccess? GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view we
Apache httpd 2.4の便利そうな新しいコア機能
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Apache httpdの2.4系を触っていて、面白そうだなーと思う新しいコア機能を幾つか紹介したいと思います。こういうの欲しかった！と思える機能がちらほら見受けられます。 MPMをLoadableに扱える PreforkやWorker、eventのMPM切り替えを、これまではコンパイル時に行う必要がありましたが、それぞれのMPMがモジュール化されLoadableになりました。これによって、MPMを切り替えて試したりする作業が格段にやりやすくなったと思います。 むしろこれになれて2.2系を触ると、うおおおーっめんどくさい！ってなります。 モジュール単位やディレクトリ単位でログレベルを制御 エラーログの出力レベルを、モジュール単位で設定できたり
【進撃の巨大データ】自作ApacheModuleとRedisでWebBrowserを一つ残らずUnique管理する - Y's note
BrowserID管理の必要性 BehaviorTargeting調査レポート - Yuta.Kikuchiの日記 進撃の巨人とADTechnologyの面白さを最近の楽しみとしている@yutakikuchi_です。BigDataという言葉が大変流行っていますが、巨大な力を持つ大量のユーザーアクセスとそれから生まれるログ、その処理と分析に追われるエンジニア/データサイエンティストはまさに進撃の巨人と人間の闘いのようです（笑）この記事のタイトルは進撃の巨人でエレンが言った「巨人を一匹残らず駆逐してやる」を文字っています。今日はそんな巨大データを扱うADTechnology分野のUserTrackingに欠かせないBrowser識別子とUnique管理について触れたいと思います。ADTechの面白さを少し話しておくと検索やKVS等の最新技術だけでなく機械学習や統計のアカデミック領域の知識も必要
mrubyによるWebサーバの機能拡張支援機構を一緒に開発しませんか？
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ある人「あなたのやりたいことはなんですか？」 僕「複数あるWebサーバソフトウェアの拡張記述を統一したいです」 ある人「（それはさすがに無理だろ…）」 という感じで始まったmod_mrubyやngx_mrubyの開発ですが、今ではそれも夢では無い所まできています。当時は「mod_mrubyを作ってみようか」という記事からmod_mrubyの開発ははじまりました。 朧げにあったアイデアでは、「どうやって統一するのか？どんな言語にするのか？どうやって組み込むのか？え？そもそもそんな事無理では？」という感じでしたが、1年前に運良くmrubyがGitHubで公開されて以来、色々なアイデアのピースがはまっていき、いつの間にかそのアイデアが形になろうとし
Linux サーバでの「Too many open files」対策について - akishin999の日記
Linux サーバでの「Too many open files」エラー対策について調べたのでまとめてみました。 確認した OS は CentOS 5.9 と CentOS 6.3 です。 「Too many open files」は Linux でプロセスが開けるファイルディスクリプタの上限に達してしまうと発生するエラーです。 「ファイルディスクリプタ」という名前ですが、 Linux ではソケットもファイルディスクリプタなので、ファイルを開いた場合だけでなく、ソケットを使って通信を行う場合にもファイルディスクリプタが使用されます。 そのため、Apache や Tomcat などで高負荷なサイトを運用している場合などには、比較的遭遇する確率の高いエラーではないでしょうか。 このエラーを回避するため、プロセスがオープンできるファイルディスクリプタの上限を変更します。 まずは以下のコマンドを実行
ApacheのSetEnvIfで間違った正規表現が拡散してる件 - NullPointer's
最近、自分のサイトを自宅サーバに移行したのだが、アクセスログファイルにcssや画像のログも記録されていてウザい。 って事でコンフィグを弄る。 SetEnvIf Request_URI "\.(jpg|png|gif|css|js)$" nolog CustomLog /var/log/apache2/access_log combined env=!nologところで「SetEnvIf CustomLog」とかで検索すると、こいつの解説をしているサイトがいくつか出てくるんだけど、何故かどのサイトでも正規表現が "\.(jpg)|(png)|(gif)$"となってる。この正規表現は、Request_URIが「.jpgという文字列を含む、またはpngという文字列を含む、またはgifという文字列で終わる」という意味。なので /pngxxxx とか /hoge.jpgaaaa みたいなパスでもログ
Apacheの動的画像リサイズモジュール「smalllight」のmakeが通らなかったのを直してみた。 - dai-yamashitaの日記
画像のリサイズを動的に行いたいとの要望があり、ミドルウェアで吸収できたら良いよねーということで、 クックパッドさんの「mod_tofu」とかいいなぁーと思っていたら、ライブドアさんから求めていたモジュールが 出ていたので、そちらを評価するために導入調査していたところ、makeが通らなかったので、その調査背景と対策方法を。。。 ちなみに、かなりの環境依存っぽいので、あまり当てはまらない方の方が多い気がします。。。(^_^;) 本当にこれでいいのかは不明で、通ったということだけで、アヤシイところ等不明な点をツッコミ頂くと幸いです。 導入方法については、xcirさんがまとめられていますので、そちらを基本参考に頂ければと思います。 OSのバージョンが違うこともあってか、ほとんどEPELリポジトリで対応が出来ました。(ibjpeg-turboは入れました） ■環境 Scientific Linux
Apache 2.4系でのモダンなアクセス制御の書き方
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 これまでのApache2.2系以前でのアクセス制御の書き方は賛否両論でした。僕はあまり好きじゃありませんでした。 過去のアクセス制御に関しては、以下の記事がとてもわかりやすくまとめられていると思います。 こせきの技術日記 – Apacheのアクセス制御をちゃんと理解する。 ここで、以下のように言及されています。 こんなバッドノウハウ、本当はどうでもいいと思う。Apache 3.0では、かっこいいDSL(VCL)で書けるようにする構想があるらしいのでがんばってほしい。 ということで、2.4系ではDSLとはいかないまでも、Require*というディレクティブを使ったモダンな書き方ができるようになったので、それを2.2系以前のアクセス制御の記述と比
ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
人間とウェブの未来 - 自分で作ったApacheモジュールで使えそうなモジュールまとめ
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 「Apacheおもしれー！！」とか言いながら、一時期毎日のようにApacheモジュールを書いたりしていましたが、その度に他のモジュールが淘汰されていきました。 今日はそのような流れの中で生き残った、割と使えそうな自分の作ったモジュールを紹介したいと思います。どこにこだわったかを簡単に説明できれば良いなと思います。今回紹介するモジュールは、新しいApache Module RegistryでGruno氏（Apache httpd コミッタ兼mod_luaの中の人）のチェックを通っています。 mod_mruby コード： https://github.com/matsumoto-r/mod_mruby 最近作っているApacheモジュールです。こ
SVG導入のためのレガシーブラウザ振り分け -Blog //ヴォルフロッシュ
Published on 2012-03-17 RSS SVG導入のためのレガシーブラウザ振り分け やっと少しずつ現実的になってきた、webで使える夢のベクター画像SVG。拡大し放題だししかもテキストデータでXMLだわ容量小さいわってことで何ともかわいいヤツ。 当方ものすごくSVG好きです。 拡大してもなめらかSVGちゃん (ちなみにこの画像自体はPNG) SVGが使いたい もともとサイトの素材画像はIllustatorで作ってたのもあり、実はローカル環境ではだいぶ前から画像はSVGにしてたんだけど、webでってなるとやはりネックになってくるのが、いつもの我らがInternet Explorer。caniuse.comによれば、SVG画像を普通の画像と同じ様に扱えるのはどうやらIE9以降。いくらなんでも現時点で8を切るわけにもいかず、SVG導入は将にIE待ち状態。いつも通りです。しかたなく
muninの表示がクソ重くなっていたのを劇的に改善した話 - 元RX-7乗りの適当な日々
某所の"munin"がびっくりするくらい画面表示が重くなっていて、ひょんなことから改善することになった話。 前提条件として、このmuninが動いているサーバは数百台のノード(サーバ)を管理している状態で、muninのバージョンは2.0系でした。 本当は、後学のためにも作ってくれた人に直してもらうべきと思いつつ、あまり悠長なことも言ってられない感じだったので、一人チューニンガソンを敢行。・・・要望があったのでログを残しておきます。(遅くなってごめんなさい) 最初の状態(before) まず、muninのトップページですが、開いてみると、、、 うほっ、19.61秒かかっておりました。これはなかなかのストレスです。 特にHTML部分の出力に19.4秒かかっている。ここをなんとかせねばなるまい。 次に4台分のサーバの各リソースの負荷状況が確認できるページを表示してみると ズラズラと出ております。各
Apache DoS攻撃にそなえる | DevelopersIO
mod_evasiveをインストールする ApacheのDoS攻撃対策で有名なところとしてmod_evasiveやmod_dosdetectorが有名どころですね。 今回はmod_evasiveをインストール＆セットアップしてみます。 セットアップ環境はお決まりのAWS Amazon Linuxです。早速ソースをダウンロードしてきて、セットアップします。 事前にApacheモジュール(mod_so.c）が有効かを確認します。 # /usr/local/apache2/bin/apachectl -l Compiled in modules: core.c ・ ・ 多いので省略（そもそも多いのも改善の余地はありますがｗ） ・ mod_env.c mod_setenvif.c mod_version.c prefork.c http_core.c mod_alias.c mod_
perl - Apache Combined Log を LTSV に : 404 Blog Not Found
2013年02月08日19:00 カテゴリTipsLightweight Languages perl - Apache Combined Log を LTSV に びっぐうぇ〜ぶに乗る前の準備として。 Labeled Tab-separated Values (LTSV) Labeled Tab Separated Valuesノススメ - stanakaのブログ タグ「ltsv」を検索 - はてなブックマーク 移行にあたっては当然「過去ログどうするよ」という問題が発生するわけですが、一番使われているであろう (common|combined) log をLTSVに変換するスクリプトが、ざっと見回しても見つからなかったので。つーかススメるならこれくらい用意しようよ＞id:stanaka ltsv.orgのexampleもcombined_ltsvの方がいいと思う。 Enjoy! Dan
Webサイト高速化のプロセスだって自動化したい
サーバ側にmod_spdyをインストールし、Google Chromeで、HTTP2.0でベースとなるSPDYのデモが行われた「Chrome Tech Talk Night #5」をレポートする。 Webサイト高速化のプロセス自動化と最高のパフォーマンス計測ツール 1月31日、Google 東京オフィスで開催された「Chrome Tech Talk Night #5」の模様をレポートします。Chrome Developer AdvocateのIlya Grigorik（イルヤ・グリゴリック）氏を迎え、SPDY導入方法を含むWebアプリケーションの高速化や、パフォーマンス向上の手法について説明されました。 イベント自体は「Making the Web Fast with PageSpeed」、「Wait, Chrome DevTools can do THAT?」の2部構成でしたが、このレポ
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
apachectl -k restart は stop && start じゃないので気をつけましょう - blog.nomadscafe.jp
Apacheを起動するときに使う事もある apachectl の -k restart は stop && start ではないので注意しましょう。 ServerLimitやThreadLimitなどの一部の設定は、restart では適用されず、stop && start が必要になります。 apachectl は実はshellscriptで出来ています。中をのぞくと #!/bin/sh .. HTTPD='../httpd' .. start|stop|restart|graceful|graceful-stop) $HTTPD -k $ARGV ERROR=$? ;; と書かれています。restartはhttpdコマンドにそのまま渡されるようです。 そこでhttpdコマンドのドキュメントを読むと詳しくは Stopping Apache httpd http://httpd.apach
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
共用サーバにおけるSymlink Attacksによる攻撃とその対策について - さくらインターネット創業日記
GitHub - kjdev/apache-mod-sundown: mod_sundown is Markdown handler module for Apache HTTPD Server.
