Introduction きっかけ 最近クローラーの開発を始めたのですが、いかんせんwebスクレピングに関して不勉強すぎたため、BeautifulSoup4の公式ドキュメント(日本語訳)とにらめっこしていました。BeautifulSoupと検索すれば大体の使用法はヒットします。でも実用するには、断片的過ぎて応用できませんでした…orz 実際にクロールしたいサイトってサンプルHTMLと違って、ものすごい深いんだもの・・・ だから今回のにらめっこで得た知見や、忘れたくないことなどをなるべくわかりやすく備忘録としてまとめようと考えました。 要約 BeautifulSoupって、selectとかfindで要素を指定できるけどBeautifulSoupのルールで抽出した要素のオブジェクトは定まるから、bs4.element.tagオブジェクトか否かを判断する必要があるよね!オブジェクトごとに使用法は