NASDAQ全銘柄のウェブサイトをスクレイピングする計画 - happyou.infoのブログ
この記事は クローラー／Webスクレイピング Advent Calendar 2015 の15日目の記事です。 昨日の記事は dimgraycatさんによる とりあえずPHPでWebスクレイピングしてみたい人向けパッケージ - Qiita でした。 happyou.infoというサイトを開発している@shogookamotoと申します。 現在、NASDAQ市場に上場している全企業の公式サイトの更新情報をスクレイピングすることを計画しています。日本株については完了しています(リンク, リンク)。 そのためには、まずどのサイトをスクレイピングすればよいのかを正確に把握しなければなりません。 (1)取扱銘柄そのものはすぐに取得できます。 NASDAQは毎日取扱銘柄の一覧を公開のftp.nasdaqtrader.comにアップロードしています。anonnymousでログインして /SymbolDi
クローラを生まれ変わらせるにあたっての思考 - かれ4
Advent Calendar 2015の13日目の記事です。 今うちで動いているCrawlerは数年前に作られたもので、 仕組みとしてはAzureのService Fabricの上でAWSのLambdaを動かしているのと似たアーキテクチャになっている。 そろそろ生まれ変わりの頃かなと思う。 生まれ変わるにあたって、これからのアーキテクチャをどうしようかと悩むわけだけど、 そんな時には過去に遡っていくと次時代へのヒントが転がっていることがよくある。 特に、過去に敗北した素晴らしいアーキテクチャが今の技術であれば一般時にも実現可能になっていたりする。 昔話 昔々世界にはInktomiという会社と AltaVistaという会社があった。 Inktomiという会社はソフトウェア開発会社で、2002年に米Yahoo!に買収されている。 AltaVistaは検索エンジンの会社だったが、2003年にO
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
