クローラを生まれ変わらせるにあたっての思考 - かれ4

Advent Calendar 2015の13日目の記事です。 今うちで動いているCrawlerは数年前に作られたもので、 仕組みとしてはAzureのService Fabricの上でAWSのLambdaを動かしているのと似たアーキテクチャになっている。 そろそろ生まれ変わりの頃かなと思う。 生まれ変わるにあたって、これからのアーキテクチャをどうしようかと悩むわけだけど、 そんな時には過去に遡っていくと次時代へのヒントが転がっていることがよくある。 特に、過去に敗北した素晴らしいアーキテクチャが今の技術であれば一般時にも実現可能になっていたりする。 昔話 昔々世界にはInktomiという会社と AltaVistaという会社があった。 Inktomiという会社はソフトウェア開発会社で、2002年に米Yahoo!に買収されている。 AltaVistaは検索エンジンの会社だったが、2003年にO

[sh19910711]

SQLでDOMのセレクタ捌くの良さそう / 2015 / "Scrapingをする必要があるのは、インデックスを作りたいのではなく、構造化されたデータとして使いたい場合 / SELECT `span\.name`, `span.price` FROM `STORAGEPREFIX.div#listtable ul li `"

[yutaro54]

多分クローラーのアプリケーションアーキテクチャーについて書かれたやつ。

[h5y1m141]

クローリングする処理とスクレイピングする処理を同期、非同期のどっちがいいかとか最近考えていたことがあったのでこの記事は自分の考えを整理する上ですっごく参考になった

[dkfj]

スクレイピング／クローラーのプロの思考

[happyou_info]

次世代感ある