はてなブックマークの人気エントリーの情報を抽出する - ohmemo
この記事は CAMPHOR- Advent Calendar 2017 9日目の記事です. こんにちは, ohmurakenです. スクレイピングの練習も兼ねて, はてなブックマークの人気エントリーの情報を抽出してみたよという記事です. 人気エントリー はてなブックマークでは以下のようなURLで日にち毎の人気エントリーがまとめられています. http://b.hatena.ne.jp/hotentry/{category}/{YYYYMMDD} 例えばテクノロジーカテゴリに関する, 2017年12月5日の人気エントリーの一覧ページのURLは以下のように定義されています. http://b.hatena.ne.jp/hotentry/it/20171205 一覧ページのHTML構成 人気エントリーのページは1つのタイル内にエントリーの情報が埋め込まれています. それぞれのタイルはHTMLのl
BeautifulSoupを使ってスクレイピングをしてみる |
そもそもスクレイピングとは？ わかりやすく説明すると特定のWebサイトをプログラミングによって必要な情報を取得したりする行為のことです。 スクレイピングが行えるようになるとムフフなサイトからムフフな画像の取得をプログラムを実行するだけで行えるようになります。 スクレイピングを始める Pythonのことをあまり知らない人にPythonの基本文法のまとめという記事を書いたので これを読むと他の言語を触ったことがある方は雰囲気がわかると思います。 今回はスクレイピングをするためにBeautifulSoupというライブラリを使ってみます。 BeautifulSoupを知らない方に説明するとBeautifulSoupはPythonで動作するHTMLとXMLのパーサーです。 これを使用することでjQueryみたいにHTML/XMLの要素の取得を簡単に行えるようになります。pipを使ってインストールを行
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
