R言語を使って株価データを取得（スクレイピング）する方法 - ことばにならないなにか
時系列分析の勉強をしていると、ふと株価を時系列分析にかけてみたくなる時があると思います。 「株価データ」と考えて、まず思いつくのは「Yahoo!ファイナンス」ですが、 実はYahoo!ファイナンスは、スクレイピング（プログラムを組んでWeb上からデータを収集すること）による株価の自動取得を禁止しています。 Yahoo!ファイナンスでは、Yahoo!ファイナンスに掲載している株価やその他のデータを、プログラム等を用いて機械的に取得する行為（スクレイピング等）について、システムに過度の負荷がかかり、安定したサービス提供に支障をきたす恐れがあることから禁止しています。 Yahoo!ファイナンスヘルプ - Yahoo!ファイナンス掲載情報の自動取得（スクレイピング）は禁止していますより引用。 ということで、今回は以下の「株価データダウンロードサイト」というWebサイトから、R言語を使って株価をスク
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
