Python3.6+Scrapyでスクレイピングしてみた - もなかアイスの試食品
はじめに 機械学習について勉強するため、機械学習を使った何かを作ろうと思っている今日このごろ いくつかサンプルが載っているような本を買っても、サンプルを動かすのはモチベーションが上がらない やはりモチベーションが上がるものは、自分がやりたいを作るべきだなぁ 自分が機械学習を利用してやりたいことはなんだろうなーと考えた 自分が興味あるものを学習して、コンテンツ（または元のサイトのURL）を配信するものを作ってみたい もうすでに、公開されているサービスを利用しているけど気にしない（作ることにきっと意味がある） そんなことで、コンテンツの内容を取得するため、Pythonでスクレイピングをやってみることにした。 昔にスクレイピングをやったことがあるけど、サーバに負荷を掛けないように配慮されたライブラリを探してみた。（昔使っていたのは、beautifulsoup4というライブラリ） Scrapyとい
インストールガイド — Scrapy 1.2.2 ドキュメント
専用のvirtualenv にScrapyをインストールして、システムパッケージとの衝突を避けることを強くお勧めします 詳細およびプラットフォームの詳細については, 以下を参照してください. 知りたいこと¶ crapyは純粋なPythonで書かれており、いくつかの主要なPythonパッケージ（他のものの中でも）に依存しています: lxml, 効率的なXMLとHTMLパーサー. parsel, lxmlの上に書かれたHTML / XMLデータ抽出ライブラリ. w3lib, URLやWebページのエンコーディングを扱うための多目的ヘルパー. twisted, 非同期ネットワーキングフレームワーク. cryptography と pyOpenSSL, さまざまなネットワークレベルのセキュリティニーズに対処する. Scrapyがテストされる最小バージョンは: Twisted 14.0 lxml 3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
