環境構築レスでAmazonの商品レビューを取得する - プログラマでありたい

世の中、ひょんなことから思いもかけないようなデータが必要になる場合があります。そんな時に備えて、クローラー／スクレイピングのノウハウを持っているのは当たり前の時代です。（大嘘） そんな訳で、Webから簡単にデータを取ってくる方法を紹介します。取得する為に、サーバーやクライアントPCの実行環境を構築すると言った瞬間、8割の人が去っていきます。そこで、環境構築レスでデータを収拾する方法を考えてみます。また、ちょっと癖があるAmazonの商品レビューを例に考えてみます。 今回の対象は、この2冊の本のデータを取得するとしましょう。 Amazon Web Services パターン別構築・運用ガイド Rubyによるクローラー開発技法 ポイントとしては、次のとおりです。 複数の本を引数指定で取ってこれるようにしたい レビュー数が10件以上あるので改ページが必要。 取得は、出来るだけ楽にしたいです。その

[dkfj]

Google Apps Scriptでスクレイピングを頑張るというよく解らん話になりました

[kno2501]

“ var postheader = { "useragent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36", "accept":"gzip", "timeout":"20000" } var parameters = { "method":"get", "muteHttpExceptions": true, "headers": postheader }”