Elasticsearch で Web のクローリングを行なう - 雑文発散(2014-11-12)▼ [Elasticsearch] Elasticsearch で Web のクローリングを行なう Elasticsearch の情報をいろいろ探しているうちに「Elasticsearch ウェブクローラー 基本編」という記事に出会った。 全文検索のエンジンのくせに、自分からデータを取りに行ってストアするとか面白いことするな！と思ったんだけど、全文検索が故にそういう用途のニーズも多いんだろうな。 ということで、この日記に対してクローリングを行なって、全文検索できるような仕組みを作ってみる。 Elasticsearch や Kibana は「Fluentd + Elasticsearch + Kibana での解析の構成を考える」あたりで構築したものを流用する。 基本的には、前述の「ウェブクローラー基本編」の記事をほぼそのまま踏襲させて頂いたのだけど、若干変更してみたところもあるので、こちら
