PythonでLassieとdatasetを使用しWebページのデータを抽出しデータベースに保存する
PythonでLassieとdatasetを使用しWebページのデータを抽出しデータベースに保存してみます。 今回はLassieとdatasetを用います。この2つのライブラリ・モジュールはPythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows11） ■Lassieとdatasetを使用しWebページのデータを抽出しデータベースに保存するでは、早速Lassieとdatasetを使用しWebページのデータを抽出しデータベースに保存するスクリプトを書いていきます。 ■コードimport dataset from lassie import Lassie # インメモリデータベースの作成 db = dataset.connect('sqlite:///:memory
Webページの発行日と更新された日を抽出できる「htmldate」のインストール
Webページの発行日と更新された日を抽出できる「htmldate」のインストールについて解説しています。 「htmldate（https://htmldate.readthedocs.io/en/latest/）」は、任意のWebページの発行日と更新された日を検索することができます。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■htmldateをインストールするhtmldateをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install htmldate起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5に
Pythonでpybrowsersを用いてWebブラウザを起動し指定したページを表示する
Pythonでpybrowsersを用いてWebブラウザを起動し指定したページを表示してみます。 今回はpybrowsersを用います。このライブラリ・モジュールは、Pythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■pybrowsersを用いてWebブラウザを起動し指定したページを表示するでは、早速pybrowsersを用いてWebブラウザを起動し指定したページを表示するスクリプトを書いていきます。 ■コードimport browsers browsers.launch("chrome",url="https://www.yahoo.co.jp/")importでbrowsersモジュールを呼び出します。その後、
PythonでHTTPXを使用し、Webページ（テキストを含む）を取得する
PythonでHTTPXを使用し、Webページ（テキストを含む）を取得してみます。 なお、今回はHTTPクライアントライブラリ「HTTPX」を使用しますので、事前にインストールしておく必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■HTTPXを使用しWebページ（テキストを含む）を取得するでは、HTTPXを使用しWebページ（テキストを含む）を取得するスクリプトを書いていきます。 ■コードimport httpx r = httpx.get('https://www.yahoo.co.jp/') print(r.status_code) print("\n") print(r.headers) print("\n") print(r.text)インポートで、HTTPXモジュールを
Pythonで指定されたWebページがサーバー上にあるかどうかをテストする
Pythonで指定されたページがサーバー上にあるかどうかをテストしてみます。 なお、今回はUrllibモジュールを使用しますので、事前にインストールしておく必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■Webページがサーバー上にあるかどうかをテストするでは、早速Webページがサーバー上にあるかどうかをテストするスクリプトを書いていきます。 ■コードfrom urllib.request import urlopen, URLError, HTTPError try: html = urlopen("https://laboratory.kazuuu.net/") except URLError as e: print("サーバーが見つかりません") except HTTPErr
RequestsとBeautifulSoupを使用しPythonでWebページのコンテンツを取得する
RequestsとBeautifulSoupを使用しPythonでWebページのコンテンツを取得してみます。 なお、RequestsとBeautifulSoupモジュールは、Pythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.2」を使用しています。（Windows10） ■RequestsとBeautifulSoupモジュールを使用してWebページのコンテンツを取得するでは、早速RequestsとBeautifulSoupモジュールを使用してWebページのコンテンツを取得するスクリプトを書いていきます。 ■コードimport requests from bs4 import BeautifulSoup getwebcontent = requests.get("https://laborator
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
