[B! BeautifulSoup] roogh5eeSha6のブックマーク

BeautifulSoup4でコメントタグの中身を取得する方法に腹落ちするまでの話 - 蛇ノ目の記

同人音楽即売会M3の出展サークルリストから、サークル名やキーワードを抜こうとしている。何に使うかは未定だけど。サークルリスト 2018年春 | M3 - 音系・メディアミックス同人即売会を見てわかるようにスペース, サークル名, 概要となっている。サークルに関する情報はこれだけではなくて、ソースを見てみるとコメントとしてサークル名(カナ)やジャンルコード、キーワードが記述されている。キーワードも取りたくなってしまったのでひたすらググることになったという話。なお、BeautifulSoupに関しての説明はだいぶ省く。  コメントアウトされた情報はキーワードの数や並びが統一されていないのだけどそれは置いておく。これが実データのつらみか。コメントタグの中身を取る方法さて、

roogh5eeSha6 2020/10/12

リンク

BeautifulSoup4のNavigableStringオブジェクトについて | せなブログ

みなさまおはこんばんにちは、せなです今回はBeautifulSoup4で使用されているNavigableStringオブジェクトについて説明したいと思います NavigableStringについて BeautifulSoup4ではタグの間の文字列などをNavigableStringオブジェクトとして使用しています以下のコードはNavigableStringオブジェクトとBeautifulSoupオブジェクトの見本です soup = BeautifulSoup('<p>Beautiful Soup</p>', 'html.parser') print(soup.string) # Beautiful Soup print(type(soup.string)) # <class 'bs4.element.NavigableString'> print(soup) # <p>Beautifu

roogh5eeSha6 2020/09/19

リンク

beautifulsoup4入門 htmlをパース、スクレイピングする | Python学習講座

私が実際に使ってみて、解析しやすかったのはhtml5libですが、上述の通り非常に遅いので注意が必要です。特に、domの構造が汚かったり不整合のあるhtmlだと(めったにあることではないですが、)CPUが100%に張り付いて、最悪応答が帰ってこない場合があります。 lxmlとhtml5libは外部ライブラリですので、使用する場合は以下の通りpipでインストールする必要があります。 pip install lxml pip install html5lib Tagオブジェクトお手軽なパースを通してbeautifilsoupの基本となるTagオブジェクトの操作について学習しましょう。最初の例で書いているとおり、bsオブジェクト.タグ名　でタグとその内容の情報を保持したTagオブジェクトを取得することが可能です。また、Tagオブジェクトはタグ名を連ねて子要素を取得することも可能です。以下の属性

roogh5eeSha6 2020/09/19

BeautifulSoup

リンク

BeautifulSoupでタグで囲まれていないテキストを取得する方法について教えてください。 - python3からBeaut... - Yahoo!知恵袋

BeautifulSoupでタグで囲まれていないテキストを取得する方法について教えてください。 python3からBeautifulSoupを使って競馬のサイトのスクレイピングをしようとしています。そこで以下のようなHTMLに遭遇しました。 <td class="txt_l" width="121"> <div class="inner"> 19.06.16 東京<br /> <span class="order">7</span> <div class="racebox"> <span class="race_name"><a href="https://db.netkeiba.com/race/201905030606/">２歳新馬</a></span><span class="race_grade"></span><br /> 芝1400 1:25.3&nbsp

roogh5eeSha6 2020/03/12

BeautifulSoup

リンク

BeautifulSoupでタグで囲まれていないテキストを取得する方法

roogh5eeSha6 2020/03/12

BeautifulSoup

リンク

Python3メモ - BeautifulSoup4のあれこれ - Szarny.io

BeautifulSoupとは Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifying the parse tree. It commonly saves programmers hours or days of work. Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation より引用 BeautifulSoupのインストールとインポート pip3 install beautifulsoup4 from bs4

roogh5eeSha6 2020/01/27

リンク

python beautifulsoup new_tag: assign class as an attribute

I'm new to both python and beautifulsoup, so maybe there is a simple answer I can't find. When I call .new_tag('name') I also can assign attributes like .new_tag('a', href='#', id='link1') But I can't assign class this way, because it is reserved word. Also I can't add name this way, because it's used as keyword for the tag name attribute. I know I can add them later, using tag['class'] for exampl

roogh5eeSha6 2020/01/27

リンク

BeautifulSoupでstringとtextの挙動の明確な違い – Python | Let's Hack Tech

スクレイピングなどで、最終的に文字列を取得したい場合は、soupオブジェクトに対して”.string”や”.text” で文字列を抽出することが出来ますが、両者の明確な挙動の違いを例を挙げて紹介します。 <div> <h2>文字列取得テスト</h2> <p>BeautifulSoupはスクレイピングに欠かせないPythonのライブラリです。<br/>複雑なHTMLソースも、手軽にパースできる事が<b>最大の魅力</b>です。</p> </div> 例えば上記のようなHTMLソースがあった場合を例に見ていきます。 from bs4 import BeautifulSoup as bs4 soup = bs4(html, 'lxml') ここまでが前提のソース。 soup.p.text の場合 “.text” の方は非常に単純で、そのタグ内に含まれるすべての文字列をつなぎ合わせて返却します。