タグ

スクレイピングに関するmima3のブックマーク (2)

  • スクレイピングでQiitaの「いいね」一覧を取得する - Qiita

    はじめに まず初めに書いて置きますが、僕は文章を書くのは得意ではないので読みにくかったらもうしわけありません。 さて、私は、いいねをストック代わりに使っていたので、いいねの一覧を見ることができないと知って、非常に、憤っております。twitterやQiitaでも、多くの方々が悩んでいるようです。1 2 というわけで、pythonスクレイピングして、いいね一覧を取得します。 導入 python3をインストールしたら、pipコマンドでrequests、BeautifulSoup4,progressbar2 をインストールしてください コード 記事一覧を取得して、results.jsonファイルに保存します。 # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import requests from time import sleep im

    スクレイピングでQiitaの「いいね」一覧を取得する - Qiita
  • POSIX原理主義に基づく究極のスクレイピング - Qiita

    この投稿はクローラー/スクレイピング Advent Calendar 2014の12月25日用です。 199X年。核戦争によって荒廃した時代に、ジャギという男がいた。 「おいお前、普段使っているシェルの名前を言ってみろぉ」 弟ケンシロウに成りすまし、そう言っては、“Bourne Shell”と答えない平民達を虐殺するという悪行を繰り返していた。弟の名に頼り、銃に頼り、人質に頼り、含み針に頼り、そしてガソリンという切り札に頼ったその男は、己の肉体のみで闘う弟によって、無様な最期を遂げた。 さて題名にもあるとおり、この記事は「POSIX原理主義」、つまりUNIX系OS最小インストール時に使えるコマンドだけでスクレイピングします。立派な言語やライブラリーがあったらスゴいスクレイピングができて当たり前。それだと道具がスゴいだけで、「自分はノーアイデアです」と言っているようなものです。 しかしながら

    POSIX原理主義に基づく究極のスクレイピング - Qiita
    mima3
    mima3 2015/05/30
    おお、これで、プログラミング言語をインストールしないでも戦える。
  • 1