GoogleスプレッドシートでGET/POST通信を行いコンテンツを取得する - ソフラボの技術ブログ
必要なもの ネット環境 Google SpreadSheet スクリプトの作成 1.Googleスプレッドシートを開き、ファイルメニュー「ツール」→「スクリプトエディタ」と選択します 2.スクリプトエディタのファイルメニュー「ファイル」→「新規作成」→「スクリプトファイル」を選択します スクリプトファイル名は拡張子を除いて入力すると、自動的に「.gs」ファイルとして作成されます。 GET // アクセス先 var url = "http://www.google.co.jp/" // GETリクエスト var response = UrlFetchApp.fetch(url); // HTMLの結果を取得（引数のcharsetは設定したほうが良い） var content = response.getContentText("UTF-8"); POST // POSTデータ var pay
Protractorでスクレイピングしてみた
Railsでスクレイピングが必要な時は Nokogiri を使っていたけれど、普通のサイトはJavascriptを使っているわけで、Nokogiriだけではスクレイピングが難しいこともある。そんな時にどうしようかと。 Nokogiri 鋸 Protractorなら、実際にユーザーがブラウザーを立ち上げて、ボタンをクリックして、テキストを読んで… みたいなことを再現できるのですごい便利。ほんとはAngular.jsのためのテストフレームワークだけど、スクレイピングにも使える。 Protractor - end to end testing for AngularJS nvmのイントール 手元のMacOSにインストールして使ってみる。 Ruby使っているならお馴染みのrvm（Ruby Version Manager）。 nvmはNode.jsのバージョン管理ツール。 nvmを入手 $ git
Phantomjsで画像ファイルを保存する。 - The Other Road Ahead
2013-10-10 Phantomjsで画像ファイルを保存する。 Phantomjsでは、スクリーンショットを取ることができるが、開いたページの個別の画像を指定してダウンロードすることはできない。じゃあcasperjs使えばいいじゃんって話になるけど、casperjsは、ajaxで画像のurlを指定してダウンロードしているので、ページを開いたタイミングでrequestした画像がダウンロードされるわけではなく、もう一度requestを送ってダウンロードするので、リファラとか気にする場合は面倒なことになる。しかし、phantomjsには、disk cacheの仕組みがあり、そこからcacheした画像を掘り起こせばダウンロードしたファイル取ってこれるよねってことで、それを可能にしたscriptがこちら。 https://gist.github.com/bshamric/4717583 nor
ログインが必要なページでもサクサクっとスクレイピングしちゃう「CasperJS」 | astronaughts.net
Titanium 以外のこと書くの久しぶり ども、最近 Titanium mobile と同じ釜の飯を食った仲レベルの仲良しっぷりを発揮している、ボクです。そんなボクですが先日初仕事となる ChatWork のバージョンアップ版がリリースされました。いやはや、めでたい。 なのでいろいろ Titanium mobile について書きたいことがわんさかあるんですが、ここはちょっと寝かせておいて敢えて別の思考で行きたいと思います。 JavaScript でスクレイピングできちゃう超ハイカラなやつ iOS アプリ作ってて TestFlight 使ってるんですが API が用意されてなくてわざわざ Web サイトにログを見に行かないといけなく、なんかイイ方法ないかなと思ってスクレイピングを考えていたんですが、その中でこいつと出会いました。 CasperJS - http://casperjs.org
Not Found |ミレスポ！ - Millennials Sports Marketing
横浜F・マリノスユース同期6人による新たな挑戦「ROOTS.」。新時代に適応するアスリートに必要な素質とは。
Casper.JSのススメ - After Coding
2013-08-17 Casper.JSのススメ Phantom.JSというヘッドレスブラウザがある。 これが超便利なんだけど、セッション周りとか込み入った操作をしようと思うと途端に操作(JSファイルへの記述)が面倒になる。 そこで、Casper.JSの出番だ。 CasperはPhantomと連携するライブラリで、簡単な記述で複雑な操作を実現することができる。 また、Phantomのレンダリングエンジンはwebkitで、Gekkoで動いているSlimer.JSってのもあって、これらの上で動くCasperを使っているとレンダリングどっちも使えるので捗る(と思う)。 今回はEnd-to-Endテストの実現を目的に、Casper.JSでwebサイトのHTMLを解析してみる。 もちろん、スクレイピングなどにも応用可能だ。 ↑ヨルムンガンドに出てくる主人公(ココ・ヘクマティアル)の兄キ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
