［SEOクローラー対策］どのクローラーがrobots.txtの指示を無視しているのか？[現在位置] Webの間 HOMEWebの間のコラム クローラビリティ ［SEOクローラー対策］どのクローラーがrobots.txtの指示を無視しているのか？ インターネットの世界では検索エンジンを始め、SEOツールなど多種多様な目的でクローラーが徘徊し情報を収集しています。法律の専門家ではないので正しい解釈ではないかもしれませんが、ウェブ上でクローラーがコンテンツを収集するスクレイピング自体は問題ありません。以前、某図書館の蔵書検索システムを使いやすくするためのシステムを開発した方が逮捕されるという事件もありましたが、最終的に不起訴となりました。 ウェブ運営者がクローラーへ向けた対策としてrobots.txtというものがあります。robots.txtにクロールを拒否する命令を記述するというものです。しかし、robots.txtの内容はあくまで指示にしか過ぎません。クローラーによってはro
