AtCoder Problems を支える技術 - 宇宙ツイッタラーXの憂鬱adventar.org はじめに AtCoder Problems というサービスを作っています。最近作り直しています。 http://beta.kenkoooo.com/atcoder/ これは AtCoder の提出を全部クロールして、一覧で見れるようにしたものです。最近は機能が増えすぎていますが・・・ ソースコードも公開しています。このプログラムの中でどんなことをしているのかを書いていきたいと思います。競技プログラミングはそんなに関係ないです。 github.com スクレイパー Scala で書いています。ScalaScraper でクロールもスクレイピングもやってくれるので、それに任せています。 やっていることは以下のとおりです。 コンテスト一覧をクロールして DB に入れる。 DB のコンテストを順番に見ていき、そのコンテストの問題をクロールして DB に入れる。 コンテスト
