Yahoo! Search、robots.txtでワイルドカード対応 ::SEM R (#SEMR)Yahoo! Search、robots.txtでワイルドカード対応 Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル／ディレクトリへのアクセス禁止指示をすることが可能に。 公開日時：2006年11月04日 11:38 米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp）のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。 ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへ
