Scrapyを使って人工衛星の軌道情報をスクレイピングしてみた - Qiita

動機 我が家のZaimデータを描画する基盤を作ったの記事で、airflowを使った似たような基盤を作っていた人のブログを見ていたら、Scrapyを使ったスクレイピングスクリプトのサンプルが掲載されていたので、試しに使ってみようと思った。 （参考元の記事） 「人とWebに優しい」Scrapyの使い方サンプル〜 #PyConJP 2017のつづき(なお野球) やったこと 上記参考元の記事に掲載されていたgithubのリポジトリをフォークして、別ブランチで別なサイトをスクレイプしてくるサンプルを作ってみた。ソースは下記。 NORADのTLE軌道データを取得してDBに格納するサンプル 肝心のスクレイピング部分は、NORADのTLEを拾ってくるというマニアックなものなので、全くもってサンプルに向いていないけれど。 NORADってなに？ NORADとは北アメリカ航空宇宙防衛司令部。物々しい名前で、その