Webページのスクレイピングと分析・可視化 - Qiita

先日、2016年アドベントカレンダーのはてブ数の分析というブログ記事を投稿した。このデータの可視化には様々な技術が使われている。本記事では、どのような技術を活用して作成したのかについて説明する。 ソースコードはこちら。 概要 このVizは、QiitaとAdventarに投稿された、全アドベントカレンダー及びそこに登録された記事のはてなブックマーク数を元に、どのカレンダーや記事が人気なのか、あるいはQiitaとAdventarのどちらが人気なのかを視覚化することを目的として作成された。データソースは、Qiita及びAdventarに登録された、アドベントカレンダー2016の全カレンダーページである。カレンダーには記事のメタデータが含まれている。記事そのもののページやユーザページのクロールはしていない。 システムの概要 データの収集→ETL→BIという流れで処理を行った。 データ収集 Webク

[shiumachi]

アドベントカレンダーのはてブ数の分析記事のメイキング記事書きました。こっちは純粋に技術記事

[psfactory]

Webページのスクレイピングと分析・可視化 - Qiita

[fire_0218]

[] Webページのスクレイピングと分析・可視化 - Qiita

[kasumani]

Webページのスクレイピングと分析・可視化 先日、2016年アドベントカレンダーのはてブ数の分析というブログ記事を投稿した。このデータの可視化には様々な技術が使われている。本記事では、どのような技術を活用して作

[gnt]

tableu公開が上手い

[hatakazu93]

技術

[hatomugicha]

あんまり読んでないけどデータ収集目的のアクセスをプログラム化する時は上手くいかない時に全停止させる意気込みでウェイトもしっかり入れないとこっちのバグで迷惑なアクセスをする時があるから気を付けたい