PythonでWebスクレイピングしたデータをsqlite3データベース保存する
Pythonでrequestsを用いてWebスクレイピングを行い、スクレイピングしたデータをsqlite3データベースに保存してみます。 なお、今回はrequests,datetime,sqlite3を用います。この3つのライブラリ・モジュールはPythonの標準ライブラリで事前にインストールする必要はありませんが、BeautifulSoupはPythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■requestsを用いてWebスクレイピングを行い、スクレイピングしたデータをsqlite3データベースに保存するでは、早速requestsを用いてWebスクレイピングを行い、スクレイピングしたデータをsqlite3データベ
ChatGPTにPythonを用いたWebスクレイピングの方法を質問した結果
ChatGPTにPythonを用いたWebスクレイピングの方法を質問した結果、「当社のコンテンツポリシーに違反している可能性（This content may violate our content policy.）」という出力がされたことについて解説します。 OpenAIが2022年11月から公開しているチャットボット「ChatGPT」にPythonを用いてWebサイトからデータを取得する（Webスクレイピング）方法について質問してみました。 This content may violate our content policy. If you believe this to be in error, please submit your feedback — your input will aid our research in this area. （このコンテンツは、当社のコンテン
PythonWebスクレイピングフレームワーク「grab」のインストール
PythonWebスクレイピングフレームワーク「grab」のインストールについて解説しています。 「grab（https://github.com/lorien/grab）」は、ネットワークリクエストを実行し、Webサイトをスクレイピングし、スクレイピングされたコンテンツを処理することができます。2022年6月現在は、pycurlバックエンドは削除され、唯一のネットワークトランスポートはurllib3となっている。 ■Python 今回のPythonのバージョンは、「3.6.8」を使用しています。（Windows10）（pythonランチャーでの確認） ■grabをインストールするgrabをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install grab起動後、上記のコマンドを入力し、Enterキ
AWS EC2の「Ubuntu Server」インスタンス上でHeadless Chromeを使用したSelenium Python Scriptを実行する
AWS EC2の「Ubuntu Server」インスタンス上でHeadless Chromeを使用したSelenium Python Scriptを実行してみます。 なお、この記事は「AWS EC2の「Ubuntu Server」インスタンスにPython用のSeleniumとWebdriverのインストール」という記事の続きでもあります。また、事前に「Ubuntu Server」インスタンス上にGoogleChromeをインストールしています。 ■PC環境Windows10（Google Chrome） AWS インスタンス作成済み（Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)） 「Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)」内には「Python 3.10.4」がプレイン
【実験】Pythonでautoscraperを用いてAmazonをウェブスクレイピングする
前回、Pythonでautoscraperを用いて自動的なウェブスクレイピングを行うという記事を公開しましたが、スクリプトを書いて実行してみると「空のリストが取得」され、ウェブスクレイピングが開始できませんでした。 開始できませんでしたが、スクリプトのコード内には、Yahoo!Japanを指定し、このWebサイトをスクレイピングするように指定していたので、Webサイトを変更し、”アマゾン: Amazon”をウェブスクレイピングしてみることにしました。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■autoscraperを用いてAmazonをウェブスクレイピングするでは、早速Pythonでautoscraperを用いてAmazonをウェブスクレイピングするスクリプトを書いていきます。 ■コードfr
Guzzleを使用しPHPによるWebスクレイピング
Guzzleを使用しPHPによるWebスクレイピングを行ってみます。 Guzzle（https://github.com/guzzle/guzzle）は、PHPのHTTPクライアントで、HTTPリクエストを素早く簡単に送信することができます。 ■環境・Windows10 ・XAMPP 8.0.6 ・PHP Version 8.0.6 ・Composer Version 2.1.3 ■プロジェクトディレクトリを作成まずは、プロジェクトディレクトリを作成します。作成するために、Windows10のコマンドプロンプトを起動します。 C:\Users\user_>mkdir php_scraping起動後、上記のコマンドを入力し、Enterキーを押します。作業ディレクトリ（カレントディレクトリ）内に「php_scraping」というディレクトリを作成します。 C:\Users\user_>cd p
【Google Apps Script】 Webサイトをスクレイピングする
GoogleAppsScript（GAS）を使用し、Webサイトをスクレイピングすることについて、解説しています。 ■GoogleAppsScriptを作成まずは、GoogleアカウントでGoogleドライブ（https://drive.google.com/drive/u/0/my-drive）にアクセスします。 アクセスし、左側のメニューから「新規」ボタンをクリックします。 クリックするとプルダウンメニューが表示されますので、メニューの中から「その他」をクリックします。クリックすると、さらにプルダウンメニューが表示されますので、メニューの中から「Google Apps Script」をクリックします。 クリックすると、Apps Scriptのプロジェクトの作成画面が表示されます。こちらの画面で、Web サイトをスクレイピングするスクリプトを作成していきます。 ■Webサイトのデータを取
Node.js/JavaScriptとPuppeteerを使ってAmazon（アマゾン）をスクレイピングする
Node.js/JavaScriptとPuppeteerを使用し、Amazon（アマゾン）をスクレイピングすることについて解説しています。 なお、JavaScriptの実行にはNode.jsとnpm（Node Package Manager）を使用するので、コンピュータにNode.jsとnpmがインストールされている必要があります。 ■PC環境・Windows10、Administrator（管理者）アカウント ・node –version v14.15.0 ・npm –version 6.14.8 ■空のディレクトリを用意する まずはWindows10上に空のディレクトリを用意します。今回は「C:\Users\Administrator（フォルダパス）」に「web_scraping」というディレクトリを用意しました。 ■package.json（初期値）を作成する用意したあとに、Wind
Node.jsとPuppeteerを使ってWebサイトをスクレイピングする
Node.jsとPuppeteerを使ってWebサイトをスクレイピングしてみます。 なお、JavaScriptの実行にはNode.jsとnpm（Node Package Manager）を使用するので、コンピュータにNode.jsとnpmがインストールされている必要があります。 ■PC環境・Windows10、Administrator（管理者）アカウント ・node –version v14.15.0 ・npm –version 6.14.8 ■Web Scraperの設定Web Scraperの設定のために、プロジェクト用のフォルダを作成しますので、Windows10の検索ボックスで「cmd」と入力し、コマンドプロンプトをクリックします。クリックすると、コマンドプロンプトが起動します。 C:\Users\Administrator>mkdir web-scraper起動後、上記のコマン
JavaScript / Node.jsでWebクローラーの作成とWebスクレイピング
JavaScript / Node.jsでWebクローラーを作り、Webスクレイピングを行ってみます。 なお、JavaScriptの実行にはNode.jsとnpm（Node Package Manager）を使用するので、コンピュータにNode.jsとnpmがインストールされている必要があります。 ■PC環境・Windows10、Administrator（管理者）アカウント ・node –version v14.15.0 ・npm –version 6.14.8 ■新規フォルダの作成と、crawler.jsという空のファイルを作成するまずは、新規フォルダの作成と、crawler.jsという空のファイルを作成します。 今回は「C:\Users\Administrator（フォルダパス）」という場所に、「simple-web-crawler」という名前のフォルダを作成します。 ■コードvar
【自動化】Power Automate DesktopでWebブラウザ自動操作を行う
Power Automate DesktopでWebブラウザ自動操作を行うことについて解説しています。 Power Automate Desktopのダウンロード・インストールについてはこちらです。 ■PC環境Windows 10 Pro ■Power Automate Desktopで新しいフローを作成する まずは、Power Automate Desktopを起動します。起動すると画面の上部に「新しいフロー」と表示された十字ボタンがありますので、こちらをクリックします。 クリックすると、「フローを作成する」というウインドウが表示されます。ウインドウ内の「フロー名」の入力欄がありますので、今回は「Webブラウザの自動操作」と入力します。 入力後、「作成」ボタンをクリックします。 クリックすると、フローが作成されて、アクションの設定を行う画面が表示されました。この画面で、Webブラウザを起
Wampserver64を起動しPHP Simple HTML DOM ParserでWebスクレイピングする
Wampserver64を起動しPHP Simple HTML DOM ParserでWebスクレイピングしてみます。 ■環境・Windows10（Microsoft Edge） ・Visual Studio Code 1.53.2 ・WampServer Version 3.2.3 64bit ・PHP Version 7.3.21 ■ライブラリをダウンロードするこちら（https://sourceforge.net/projects/simplehtmldom/files/）から、PHP Simple HTML DOM Parserをダウンロードします。 「Download Latest Version」という緑色のボタンがありますので、こちらをクリックします。 クリックすると、Webブラウザで指定されているファイルの保存場所に「simplehtmldom_1_9_1.zip」というフ
Webスクレイピングでのブラウザドライバー管理を簡素化できる「webdriver-manager」
様々なWebブラウザのバイナリドライバの管理を簡素化できる「webdriver-manager」モジュールをインストールしてみます。（Windows10） なお、chromedriverをダウンロードし、PC内のどこかでダウンロードしたファイルを解凍し、ドライバへのパスを設定する必要があります。 モジュールの詳細URL:https://github.com/SergeyPirogov/webdriver_manager ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■webdriver-managerをインストールwebdriver-managerをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install
可能な限りシンプルにHTMLの解析が行えるrequests-htmlをインストール（Windows10）
可能な限りシンプルにHTMLの解析が行えるrequests-htmlのインストールについて解説しています。（Windows10） ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■requests-htmlをインストールするrequests-htmlをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install requests-html起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5にインストールを行うために、pipを使う場合にはコマンドでの切り替えを行います。 py -3.8 -m pip install
requests-htmlを使用しPythonでアマゾン（Amazon）の商品詳細ページ（価格・タイトル）から自動で情報を抽出する
requests-htmlを使用しPythonでアマゾン（Amazon）の商品詳細ページ（価格・タイトル）から自動で情報を抽出してみます。 なお、requests-htmlモジュールは、Pythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■requests-htmlを使用しアマゾン（Amazon）の商品詳細ページから情報を抽出するでは、早速requests-htmlを使用しアマゾン（Amazon）の商品詳細ページから情報を抽出するスクリプトを書いていきます。 ■コードfrom requests_html import HTMLSession #Amazonの商品詳細ページ urls = ['https://www.a
lxmlを使用しPythonでWebスクレイピングを実装する
lxmlを使用しPythonでWebスクレイピングを実装してみます。 lxmlモジュールは、Pythonの標準ライブラリではありませんので、事前にインストールする必要があります。 なお、今回はrequestsモジュールも使用しますので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■lxmlを使用しPythonでWebスクレイピングを実装するでは、早速lxmlを使用しPythonでWebスクレイピングを実装するスクリプトを書いていきます。 ■コードimport requests from lxml import html link = 'https://laboratory.kazuuu.net/docker-desktop-for-installing-w
Scrapyを使用してPythonでWebスクレイピングをする
Scrapyを使用してPythonでWebスクレイピングをしてみます。 Scrapyとは、高速なオープンソースのWebクローリングフレームワークで、XPathに基づくセレクタの助けを借りてWebページからデータを抽出することができるものです。 なお、Pythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.2」を使用しています。（Windows10） ■Scrapyをインストールするまずは、Scrapyのインストールを行います。Windowsのコマンドプロンプトを起動します。 pip install scrapy起動後、上記のコマンドを入力し、Enterキーを押します。 Collecting scrapy Downloading Scrapy-2.4.0-py2.py3-none-any.whl (
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
