ニュースパスのクローラーアーキテクチャとマイクロサービス

This document summarizes Mosa Siru's engineering work at DeNA and Gunosy. It describes Gunosy's RSS/Atom feed crawler system which includes components like a job queue, fetcher, parser, updater, content generator, and indexer. It also discusses technologies used like Python, Celery, MySQL, S3, Elasticsearch. The system is designed to efficiently parse, store, generate content and index feeds at sc

[mosa_siru]

スライドあげましたmm

[yoshikidz]

役割定義がちゃんとしてて、メンテしやすい印象。マイクロサービスって言葉のスコープってうまく使えばキレイに管理統制に使えるのかー。

[fjwr38]

割りと普通にやっているな、という印象

[yumu19]

「JobQueueのピタゴラスイッチ」という名言を見た。

[Dai_Kamijo]

ニュースパスのクローラーアーキテクチャとマイクロサービス #architecture @SlideShareさんから — 上條　大 (@Dai_Kamijo) August 22, 2016 from Twitter https://twitter.com/Dai_Kamijo August 22, 2016 at 09:22AM via IFTTT

[masayuki5160]

めちゃわかりやすい。あとボンバーマンが気になった。

[shogo_okamoto]

わかりやすかったです。

[utwang]

アーキテクチャも非常に勉強になったけど、後半の運用のところは必見。

[shodai]

ボンマーマンの下りは分かりやすいキャッチフレーズだな

[dr_paradi]

なるほど