図解！XPathでスクレイピングを極めろ！(Python、containsでの属性・テキストの取得など)
スクレイピングにおけるXPathの使い方を初心者向けに解説した記事です。 XPathとは、基本的な書き方、id・classなど様々な属性やテキストの取得方法、contains関数の使い方など要点を全て解説しています。 XPathとは XPathとは、XML形式の文書から特定の部分を指定して取得するための簡易言語です。HTMLにも使うことができます。 XPathはスクレイピングにおいて、HTMLの中から特定の情報を指定し取得するのに利用されます。 HTMLは次のようにタグと言う記号で構成されており、開始タグ、終了タグで囲まれたものを要素といいます。 上記の要素はtitleタグに囲まれていますので、titile要素と言います。 またHTMLは、１つのタグが別のタグで囲われ、というように入れ子の状態で記述されます。これらは階層構造とみなすことができます。 例えば次のHTMLについては、 このよう
Pythonでスクレイピング 基本 - メモ
imabari.hateblo.jp Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation ウェブページをHTMLで保存し、サーバーへのアクセス回数を減らす 初回アクセス時にHTMLファイルを保存 from urllib.request import urlopen from bs4 import BeautifulSoup url = 'アドレス' html = urlopen(url).read() soup = BeautifulSoup(html, 'html.parser') # soup = BeautifulSoup(html, 'html5lib') # prettifyで整形されたファイルで保存 with open('test.html', mode = 'w', encoding = 'utf
RubyプログラマがPythonを学び始めて知ったこと10選 ③ - donghai821の日記
1 比較を連鎖できる。 a = 2 # これを 1 < a and a < 3 => True # このように書ける 1 < a < 3 => True 2 モジュール名はファイル名。 RubyではModuleを定義する構文があり、その中でモジュール名も定義されるが Pythonではファイル名、例えばhoge.pyであればhogeがモジュール名となる。 これを取り込むには次のように書く。 import hoge 3 モジュールはクラス・関数・変数単位でimportできる。 hogeモジュールからfoo()関数のみ取り込む場合次のように書く # hoge.py def foo(): return 1 # hogeモジュールを使用するスクリプト from hoge import foo foo() => 1 複数importも可能。 # カンマで区切って複数をimport from hoge
Pythonで学ぶ 基礎からのプログラミング入門(21) オブジェクト指向について学ぼう(3)
今回は、これまで細かく説明してこなかったselfについて扱います。self自体については割りきってしまえば非常に単純明快なので、細かい話に興味がない人は最初の節のみ読んでいただければ大丈夫です。2節目以降は、かなり前の関数やモジュールの回で説明した「名前空間」と「スコープ」に関わる話となります。 メソッドのselfについて まず前回までの復習をします。Pythonのクラスのメソッドやコンストラクタでは第一引数をselfとし、それらの定義されたメソッドを呼び出す際はselfに該当する引数を指定しないのでした。 たとえば、以下のクラスのコンストラクタ__init__とmethod1の利用方法を見ればわかりますね。宣言にはselfがありますが、呼び出しにはselfに相当するものがありません。 class MyClass: def __init__(self): print('constructe
Beautiful Soup でスクレイピング – 忘れるために記す
Pythonのライブラリ(Beautiful Soup)を利用してスクレイピングしてみた インストールとタグ操作root@hostname:/home/shimizu/python# aptitude install python-bs4 以下の新規パッケージがインストールされます: python-bs4 python-chardet{a} python-lxml{a} ... root@hostname:/home/shimizu/python# cat scraping-bs4.py # coding: UTF-8 import urllib2 from bs4 import BeautifulSoup res = urllib2.urlopen("http://ll.jus.or.jp/2014/program.html") # オブジェクト<class 'bs4.element.R
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
anopara
https://torina.top/detail/384/
Python で HTML をパースする (Beautiful Soup)