Pythonでwebスクレイピング はじめの一歩 - QiitaPython3とBeautifulSoup4を使ったwebスクレイピングの初心者向けの記事です。 過去記事を参照しましたが、 警告が表示されたりバージョンの違いからか動かないことがあったため、改めてまとめてみました。 概要 webスクレイピングの基本的な処理は、以下のような流れになります。 ①webページを取得。 ②取得したページを要素を分割し、任意の箇所を取り出す。 ③データベースに保存。 ①のwebページの取得にrequest、②の処理にBeautifulSoup4を利用します。 ③については環境によって異なるため、この記事では説明を割愛します。 準備 Python3をインストール後、 pipコマンドを使って、BeautifulSoup4、requests、lxmlの３つのパッケージをインストールします。
