Yahoo! Search、robots.txtでワイルドカード対応 Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル/ディレクトリへのアクセス禁止指示をすることが可能に。 公開日時:2006年11月04日 11:38 米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp)のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。 ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへ
![Yahoo! Search、robots.txtでワイルドカード対応 ::SEM R (#SEMR)](https://cdn-ak-scissors.b.st-hatena.com/image/square/571c1fec2fe73c3a13b702681e7a8d32f18a18c2/height=288;version=1;width=512/http%3A%2F%2Fwww.sem-r.com%2Fimages%2Fse%2Fsemr-logo-fb-150x210.jpg)