The Web Robots Pages
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. On this site you can learn more about web robots. About /robots.txt explains what /robots.txt is, and how to use it. The FAQ answers many frequ
Apache - ホットリンクを禁止する : 404 Blog Not Found
2007年04月08日16:30 カテゴリiTech Apache - ホットリンクを禁止する それでもホットリンク禁止にしたい人向け。 404 Blog Not Found:To hot-link or not to hot-link, that is NOT the question ちなみにWebサーバーの設定でホットリンクを謝絶するというのは、明示の形体の一つである。以下のページからは、ちゃんと画像が見える。 How to Prevent People from Hot-Linking Your Contents しかし、画像をホットリンクすると、この通り。 やり方 httpd.confないし.htaccessで以下のように設定するだけ。 Document Root: SetEnvIfNoCase Referer "^http://www\.dan\.co\.jp/\~dankog
ウノウラボ Unoh Labs: WEBサービス運用における監視体制
こんにちは satoです WEBサービスは作るよりも運用の方がコストがかかるとも言われています。 運用を極力自動化して、コストを減らしたいものです。 ここではウノウで使っているツール類を紹介したいと思います。 1) 疎通、生存監視 webの生存監視などは nagiosを使って監視しています。 nagiosには - いつ(土日を除く、10時～22時までの間で など) - どのタイミングで(N回連続で ,復旧したら など) - 何が起こったった時に(疎通が取れない など) - どうするか(メールで通知する) などを細かく設定できる監視ツールです。 ウノウでは MySQL、memcached、HTTP、ping、DNS、SMTPなどの監視をnagiosで行っています。 2) システムやアプリケーションLOG ログの監視には swatch を使用しています swatchの機能には -
404 Blog Not Found:クローラにしかとシカトしてもらう50の方法
2006年10月28日22:30 カテゴリTips クローラにしかとシカトしてもらう50の方法 というわけで備忘録代わりに。 Apache: The Definitive Guide [邦訳:Apacheハンドブック] [を] Yahoo! Slurp に rel="nofollow" を無視されたYahoo! Slurp に一斉にアクセスされてサーバのロードアベレージが激ヤバ。 とりあえず、CGIスクリプトのファイル名を変更して回避。robots.txt 最も基本的なのがこれ。たつをくんがこれを知らないはずはないのだけど一応基本からということで。 robotstxt.org Robots Exclusion Standard - Wikipedia, the free encyclopedia http://www.dan.co.jp/robots.txt ちなみに最後のワイルドカードを
.htaccess ファイルを簡単作成「.htaccess Editor」
リダイレクト Fromにサイトパスを入力、ToにURLを入力 301 Moved Permanently 恒久的に移動 From: To: From: To: From: To: 302 Moved Temporarily 一時的に移動 From: To: From: To: From: To:
.htaccess実践活用術
現在、WEBサーバのシェアとしてはApacheが過半数を占めています。英国Netcraft社の調査によると2016年4月におけるApacheのシェアは49.15％である（active sitesにおけるシェア。参照：Netcraft: April 2016 Web Server Surveyy）。 2位のnginxを大きく引き離しています。このような世界的に人気の高いApacheをウェブマスターとして使いこなす方法として、このホームページでは.htaccessの利用法について解説します。httpd.confに触ることのできない一般のウェブマスターさんを対象に、「アクセス制限」「カスタムエラーページの設定」「MIMEタイプの設定」など実用度の高い利用法に絞って紹介します。「何をしたいか」のかを中心に、.htaccessの利用法を説明する構成になっています。
韓国からの異常なアクセスを拒否する方法
先ほどまでどういうわけか土曜日の夜だというのにGIGAZINEの負荷がドンドン上昇し、アラートを発し始めたので何事かと思ったら、大量のトラックバックスパム送信用ボットと思われるものが謎のIPアドレスを吐き出しながら入れ代わり立ち代わりやってきていました。 124.49.135.22 211.54.82.32 218.154.73.173 220.126.200.207 222.112.92.226 58.79.100.115 なぜかホスト名解決できないので、http://whois.ansi.co.jp/に入れてみたところ、すべてカントリーコード「kr」、つまり韓国からのアクセスでした。 ランダムなアドレスを吐き出しまくりながら、容赦なくトラックバックスパムを連続送信しまくってくれるので、とりあえず上記アドレス範疇は全部ブラックリストに入れて弾いたのですが、いつ何時IPアドレスを変更してや
Basic認証をかけたサイトの一部で認証をdisableするには
帰省、寿司、陶芸体験 8/13（火） 妻の実家の墓参りへ行き、俺の実家へ帰省。風呂に入る前に子供達と外で水鉄砲で水を掛け合いびしょ濡れになる。最後のほうはどうにでもなれと思い、ホースやバケツで直接水をかけ合う。久しぶりの大胆な遊び方に子供たちは大声をあげながら騒いでいるが、田…
bwshare
bwshareとは bwshareはApacheのモジュールの1つで、 同じ人からの連続したアクセスを制限し、多くの人がウェブページを公平に見 られるようにします。 公式サイト インストール まず、 公式サイト からダウンロードします。ここでは、Apache 1.3.23+bwshare 0.1.2 の組みあ わせですが、それより新しい分には問題ないと思います。 まずapacheとbwshareを展開します(tar xfvz apache_1.3.23.tar.gzなど)。続 いてapache_1.3.23/src/modules/bwshare ディレクトリをつくり、そ こにbwshareを展開して出来た mod_bwshare.c と Makefile.tmplを置きます。 注意：makefileはおかない その上で、apache_1.3.23のディレクトリで、 ./configure
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
*.htmlを*.html.gzに圧縮しても*.htmlのままでアクセスできるようにしてディスク容量を節約する
自信を持ってApacheを操るために