株式会社ゴクロの浜本です。 このブログでは、弊社が提供するニュースアプリ「SmartNews」の技術背景をお伝えしたいと思っています。 SmartNewsのミッションは、「世界中の良質な情報を必要な人に送り届ける」ことです。 私は、2010年頃に個人的趣味でTwitterのクローラを実装し、自宅サーバで動かしていました。ある日、ツイートに含まれるURLが解析対象として興味深いことに気付き、URLも合わせてクロールするようになりました。インターネットユーザひとりひとりのURLへの言及を集約し、民主化された情報配信の仕組みを作れないかと考えました。 自宅サーバ。今はAWSに移行したため動いていない 現在のSmartNewsは、当時のクローラを発展させたエンジンCrowsnestを基盤としてサーバサイドを構築しています。Crowsnestが処理するURLは1日あたり1,000万件を超えます。大量