特に、一度公開したファイル(ディレクトリ)を後日、robots.txt で除外した場合は、最新の robots.txt の内容が検索結果に反映されるまでのタイムラグがありますので、1ヶ月くらいは検索されてしまいます。 また、Yahoo!のクローラは、「たとえ robots.txt でブロックされていても有用なURLが表示する」という仕様になっていますし、実際、robots.txt でブロックされたURLはクエリの文字列が一致すると、タイトル・説明文はありませんがURLが検索結果に表示されてしまいます。 したがいまして、robots.txt でブロックするだけでは「絶対に検索エンジンにクロールされない」とは言い切れませんので、検索されて困るものはBASIC認証などでパスワードロックするようにしましょう。