Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
ページの表示速度はレンダリングとクローリングの2つの側面でSEOに関係する
[レベル: 中級] サーバースピード、言い換えればページの表示速度が検索に与える影響について、GoogleのJohn Mueller（ジョン・ミューラー）氏が英語版のオフィスアワーで参加者からの質問に回答しました。 レンダリングにかかる時間とクロールにかかる時間の2つの側面から、表示速度による影響をミューラー氏は説明しています。 サーバースピードというものを見るときには、2つの側面があると思う。 1つの側面は、ブラウザで認識される時間だ。つまり、レンダリングにかかる時間だ。 これは、たしかにランキング要因になっている。といっても、おそらく大きな影響力はない。通常は、本当に遅いサイトと一般的な速度のサイトを差別化しようとするくらいのものだ。 よって、数ミリ秒単位で高速化しても検索結果には何も影響しないだろう。 しかし、サイトを速くすればするほど、ユーザーの滞在時間が伸びたり、サイトでより多く
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
