大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
障害発生時にZabbixサーバーから電話を掛けさせる方法
Zabbixサーバー障害発生時に自動的に電話を掛けさせる方法 Zabbixからの電話発信方法 http://www.slideshare.net/BlueSkyDetector/zabbixjp-study-20100730-2nd-session 実行にはX Window & Skypeが必要ですが、幸いなことに監視サーバーにはX Windowが入っています。 俺のZabbixがこんなに可愛いわけがない ~おかわり~ http://www.slideshare.net/sechiro/zabbix-6898674 CentOS6.3にSkypeをインストール まずこれが大変でした。SkypeのLinux版はDebian/UbuntuかopenSUSE版しか配布されていません。CentOS用のRPMはなく、Skypeはオープンソースではないので、ソースコードも公開されていません。ダイナミッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
