iQONを支えるクローラー/iQON Crawler

IVS CTO Night & Day Spring 2015 のLTで発表した内容です /VASILY @kyuns

[yositosi]

ごいすー

[rokujyouhitoma]

わかる > 864000の壁

[asonas]

めちゃやばい

[razokulover]

本気でやるクロール

[sora_h]

まとめ…

[chezou]

分散ロック機構まで作ったんだ...

[dkfj]

あるあるｗ ⇒ "docker+ElasticBeanstalkでautoscaleでクロールしまくり！=先方のサイトがすぐ死ぬ"

[fukumura]

紳士協定w

[kazutaka83]

やる気があれば技術で解決できる事案だ。

[petitviolet]

xpath自動化どうやってるんだろう

[shingok]

#slmtech

[h5y1m141]

紳士協定のはなんかわかる。最近クローラー作ること多いから詳しく聞いてみたいなぁ

[shogo_okamoto]

各要素らしきものを判断(値段、タイトル)。時限付き分散ロック redis-dist-mutex

[milk1000cc]

xpath 自動化すごい

[toaruR]

画像加工は、ブランドによっては嫌われそう。

[honeybe]

カテゴリ判定用のファッション辞書は人間が作ったのだろうか。気になる。

[stanaka]

「1000ブランドいい感じに全部クロールしてよ」

[csouls]

クローラに関する技術的な工夫は面白い