【Python】Webスクレイピングチュートリアル -「次へ」ボタンが存在するページをすべて取得する場合 -

PythonのSeleniumを利用して、「次へ」ボタンが存在するページをすべて取得する方法を解説します。 目次 挙動を確認する 日本語でアルゴリズムを考える 実装する サンプルコード 挙動を確認する 実際にはてなブックマークの検索ページに行きまして、「R」と検索してみてください。そうすると、以下のようなURLに飛びます。 http://b.hatena.ne.jp/search/text?q=R 検索語句ですが、実は検索語句のtext?q=Rの中に、検索語句が含まれています。このように、q=[]の中に検索語句を入れれば、検索結果が取得できるようになるというわけです。 次の40件のボタンのXpathを取得します。 こちらを、前の記事で紹介したように、xpathで位置を保存してください。 【Python】Webスクレイピングチュートリアル -ログインが必要なサイトの場合- Pythonの S