Scrapyでクロールし、S3へアップロードしたhtmlファイルを本文抽出して、Elasticsearchのインデックスへ保存したい。 | teratail###環境: Mac OS 10.13.6, Python 3.8.5, Scrapy 2.2.1, botocore/2.0.0dev38, scrapy-s3pipeline 0.3.0, readability-lxml 0.8.1 前提・実現したいこと クローリングフレームワークのScrapyを使用してAWS S3のバケットにアップロードしたクロール結果htmlファイルを Pythonプログラムから参照し、htmlから本文抽出して検索エンジンのElasticsearchにインデックスする正しい方法を教えていただきたいです。 今回は以下の書籍の内容を組み合わせて、実験を行なっています。 「Python クローリング&スクレイピング データ収集・解析のための実践開発ガイド」 https://scraping-book.com/ 【クロール & S3へアップロード】 はてなブックマークの
pythonってポインタ渡しみたいなことできないんですか？
Python3 正規表現を用いてIPアドレスを判定したい | teratail
Python, Scrapyによる抽出結果CSVの行列を整列させたい
[Python]直積(itertools.product)での引数について | teratail
