「人とWebに優しい」Scrapyの使い方サンプル〜 #PyConJP 2017のつづき(なお野球) - Lean Baseball
※2019/8/12 書籍のリンクを最新版に更新 PyCon JP 2017で発表した野球×Pythonの分析ネタの詳細解説です.*1 プレゼンテーション：野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築 | PyCon JP 2017 in TOKYO speakerdeck.com youtu.be 時間および諸々の都合（察し）で公開できなかった*2, 「人とWebに優しい」Scrapyアプリのサンプル（なお野球） を作って公開したのでその紹介と,PyConのプレゼンで発表しきれなかった部分を簡単に紹介します. おしながき おしながき 対象の読者 参考文献 Scrapyを用いた日本プロ野球データ取得Exampleアプリ ポイント 全体像 「人とWebに優しい」settings.pyの書き方 Spider（クローラー本体）について〜Itemも添えて Spider.
scrapy でクローラーを実装し、画像を収集してみる - Qiita
AWS Rekognition を使う時にクローラーも使ってなんかできないかなと思い scrapy を利用してみました。とりあえず今回はドメインと画像収集のところまで。いかがわしいことには絶対利用しないでください 今回はスタートのページからどんどんリンクを辿り、ドメイン名のフォルダごとに、辿った時のページの画像を保存します。今度そのフォルダごとに画像を AWS Rekognition に投げて、そのドメインがどんなドメインなのかを画像から判別しようと考えています。 前提 scrapy 1.5.0 python3 scrapy インストール済み 参考サイト scrapy を用いてデータを収集し、mongoDB に投入する - Qiita ScrapyでWebサイトのタイトルとURLを再帰的に取得する - Qiita Spider のコード クローラーの肝となる部分です。参考サイトではCraw
Scrapy でエラーハンドリング for v1.1.3 (※一部未解決) - 無駄と文化
突然ですが Scrapy v1.1.0 から Python 3 に対応して嬉しいですね。これまで Scrapy のために 2.7 で通してきたんで。 さて、今回は Scrapy における エラーハンドリング(例外処理) についてまとめようと思います。 スクレイピングという行為は外部の構造化されていないデータを取ってくるものなので例外はつきものです。 例外が投げられたとき 何となく正常終了したように見せる ことは厳禁です。例外から正しく復帰させるか、または例外が投げられたならば正しく落とすことが重要です。 でないと、その後に例外に気づいて調節→リトライできませんからね。 Scrapy データフローに沿ったエラーハンドリング スクレイピング中に起こる不測の例外をキャッチするために通常の try ... except 文を使う事はできません。 なぜなら、我々が記述した Spider を実際に起動
scrapyのspiderのテスト(scrapy check / contract) - [Dd]enzow(ill)? with DB and Python
なんか気がつけば2017年8月から始めたBlogも1万アクセスを突破してました。めでたい。 さて、最近はDjangoよりもScrapyに触ってる事が多いです。結構日本語の情報も増えてきましたが、Django等に比べるとまだまだ利用者が少ないのか情報が少ない部分もあります。 このBlogではScrapyにはじめて触れますが、いきなりテストについてメモ代わりにまとめておきます。ScrapyではSpiderというコンポーネントをクロール対象ごとに作成します。このSpiderのテストをどうするかについてです。 サンプルの構成 今回のプロジェクトは以下のような構成です。といってもscrapy startprojectしてdenzowblogというspiderを一つ追加しただけの状態です。 . ├── scrapy.cfg └── testscrapy ├── __init__.py ├── item
![scrapyのspiderのテスト(scrapy check / contract) - [Dd]enzow(ill)? with DB and Python](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9463fa6996474ccdaf2926d27b9e1bbb1963385/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8599973812288943377%2F17391345971620015608%2F1519658193)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fisproject.jp
