Google's robots.txt Parser is Now Open Source

The latest news from Google on open source releases, major projects, events, and student outreach programs. Originally posted on the Google Webmaster Central Blog For 25 years, the Robots Exclusion Protocol (REP) was only a de-facto standard. This had frustrating implications sometimes. On one hand, for webmasters, it meant uncertainty in corner cases, like when their text editor included BOM char

[diveintounlimit]

Google感あるけど、20年もの間、検索の巨人のくせにrobots.txtの標準化に向けて何の努力もしてこなかったのはなぜなのか、小一時間問い詰めたい。

[RabbitBit]

クローラーの作成が捗る。

[youshow]

やっぱc++なんだ

[honeybe]

!

[kijtra]

誰か Python か PHP にしてくれるかな〜？他力本願！

[ku_marin]

robots.txtがオープンソースになった

[kazoo_oo]

ほー。

[exsoul]

これがOSSになるってことはみんなもっとクローリングしてねってこと…？

[suzukiMY]

robots.txt

[kaputte]

お

[tofu-kun]

お

[yosuke_furukawa]

robots.txt の parser が OSS になった