【スターターキットNo.1】Scrapy&MariaDB&Django&Dockerでデータ自動収集ボットシステムを構築する - Qiita
背景 世の中にあるWebサービスのデータベースを自動で同期して、本家にはない付加価値をつけることによって、手軽にニーズのあるWebサービスを作ることができます。 例えばECサイトのデータをスクレイピングして自前でデータベースとして持っておき、それに対して本家にはない検索方法を提供して、リンクを貼り、アフィリエイトで稼ぐみたいな軽量なビジネスモデルが個人事業のレベルで可能です。 このようなパターンはいくらでも考えられるのですが、とにかくまずはスクレイピングスクリプトを書いて、自動でデータ収集して、きちんと構造化して、それをなるべく最新の状態に保てるようなボットとインフラが必要になるわけです。今回はどのようなパターンであれ、アイデアを思いついてから、立ち上げまで作業を効率化できるようにサンプルテンプレートを作ってみました。 テンプレートといっても必要な以下のようなミドルウェアやフレームワーク込
jsサイトをスクレイピングするなら、seleniumよりsplash！ - Qiita
ヘッドレスブラウザsplashが便利だったので知見を共有します モチベーション jsで構成されたサイトをスクレイピングしたいなと思い立った時、seleniumがデファクトの選択肢として挙げられると思います。 しかしseleniumの含めヘッドレスブラウザはブラウジングが入ってくるので処理がそれなりに遅くなってしまいます。大量のページをスクレイピングする用途では不向きです。 そこで、サイトをしっかりブラウジングしながらもパフォーマンスを両立するヘッドレスブラウザという要件でseleniumの代わりをさがしていたところ、splashに白羽の矢が立ちました。 splashとは scrapyの開発元であるscrapinghub社が開発しているスクレイピングに特化したヘッドレスブラウザです。 splashは他のヘッドレスブラウザとは毛色が違い、Dockerで配布されるHTTP APIです。 ドキュメ
scrapy + splashで店舗の緯度経度情報を収集する② - Qiita
１．はじめに 前回に引き続き、店舗の緯度経度情報を取得します。 今回はMapion電話帳からチェーン展開している企業の店舗情報を取得します。 汎用性を持たせるため、scrapy実行時に引数で以下項目を渡せるようにしています。 ・genre：ジャンルID ・category：カテゴリID ・chain_store：チェーン展開企業ID 例えば、餃子の王将の場合、以下のようになります。 genre=M01(グルメ)、category=002(ラーメン・餃子）、chain_store=CA01(餃子の王将) ２．実行環境・環境構築 実行環境・環境構築は前回と同じ。 ３．scrapy item.py、setting.pyの設定も名称/取得項目以外、前回同様なので割愛。 チェーン店舗のトップページ（例）に店舗一覧が載っています。 ただし、このページからは緯度経度情報を取得できないため、各店舗のlin
[Python]ヘッドレスブラウザSplashと共にスクレイピングをしたメモ - Qiita
FAQにも記されていますが、 non-working localStorage in Private Mode. This is a common issue e.g. for websites based on AngularJS. If rendering doesn’t work, try disabling Private mode (see How do I disable Private mode?). Splashはデフォルトでプライベートモードで立ち上がるらしく、プライベートモードだとlocalStrorageが正常に動作しない場合があるよと、、 私は後述するサイトのレンダリングが当初一向にされなかった（＝JavaScriptのコードが未解釈だった）ので--disable-private-modeオプション付でdocker runを行ったところ、キチンとレンダリングされる様
![[Python]ヘッドレスブラウザSplashと共にスクレイピングをしたメモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c277ac0e33ed0c5a2414822d9e940ba7a1679d5d/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-1150d8b18a7c15795b701a55ae908f94.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTg0MCZoPTM4MCZ0eHQ2ND1XMUI1ZEdodmJsM2pnNWpqZzRQamc0bmpnNnpqZ3Juamc1YmpnNm5qZ3FiamdyWlRjR3hoYzJqamdhamxoYkhqZ2F2amdybmpncV9qZzZ6amdxVGpnNVRqZzdQamdyRGpncExqZ1pmamdaX2pnNkhqZzZJJnR4dC1jb2xvcj0lMjMzMzMmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTQmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWNlbnRlciUyQ21pZGRsZSZzPTQ1OTFhNDEwZDJmMmI2MzMxZWZmYjQ3NDVmNzI4MmZm%26mark-align%3Dcenter%252Cmiddle%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTg0MCZoPTUwMCZ0eHQ2ND1RSEJ5Y3kxM1lYUmphQSZ0eHQtY29sb3I9JTIzMzMzJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTQ1JnR4dC1hbGlnbj1yaWdodCUyQ2JvdHRvbSZzPTg4OGJjYThhMDY4MTZkNmY4OGIyYzFkZGJkNTlhZmEw%26blend-align%3Dcenter%252Cmiddle%26blend-mode%3Dnormal%26s%3D3b57bb249b18f203e45b54d9fdecc0e7)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Adam Maxwell – Medium
GitHub - catalyst256/CyberNomadResources: Accompanying documentation, images, source code and other stuff from the cybernomad.online blog
GitHub - makotunes/scrapy-django-example: Scrapy/Django/MariaDB/Docker - an example to scrap from iHerb
【Python】HeadlessChromeに代わるクロール用ブラウザSplash - Qiita
GitHub - scrapy-plugins/scrapy-splash: Scrapy+Splash for JavaScript integration