「ウェブの深海」をどう泳ぐ？

いくら Google や Yahoo! などの大手検索エンジンといえど、動的に生成されるページなどクローリングできない領域があるのはご存知の通り。そんな領域のことを「ディープ・ウェブ」などと呼んだりするのですが、以前からこのディープなエリアもクローリングしてしまおうという試みは行われていました： ■ 「見えないページ」もクロールする検索エンジン （2005年11月24日） ■ Glendor -- 見えないページを検索する、インターネットの「トロール漁船」 （2005年11月25日） どちらも3年以上前のエントリで、Dipsie も Glendor も存続しているようですが、未だにベータ版で一般化されてはいないようです。そんなわけでやはり「深海」探索は生易しい物ではないのだろうと思っていたところ、果敢にダイブしようという動きが続いているようです： ■ Exploring a ‘Deep W