くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
簡単に別ドメインからAjax対応する方法
こんばんは、笹亀です。 最近は、もっぱらjavascriptとsymfony漬けです。 普段よく使用するAjaxですが、Ajaxを実装する際の問題点について悩まされました。 「クロスドメイン」という問題です。 Ajaxのクロスドメイン対策について、難しいことやめんどくさいことが苦手な私は、簡単で手軽に実装する方法がないものかと調べました。 調べている中、私にぴったりな手軽にクロスドメインのAjaxを実装する方法がありましたので紹介したいと思います。 Ajaxを使用する際に、しばしば別ドメインのスクリプトを呼び出して使用したいことがあると思います。しかし、通常のAjaxで使用されるXMLHttpRequestなどはセキュリティ上の理由で使用しているページ以外のドメインに対してリクエストを送ることができません。使用しているページ以外のドメインではAjaxに限らず、使用しているページのJavas
buzzword(バズワード)
株式会社バズワードとして運営しているサイトの一覧です。 JavaDrive Java、 Python、 JavaScriptなどのプログラミング言語の習得を行うための解説サイトです。他に PHP や Ruby、 Perl、 C言語などの解説を行っている他、正規表現やエディタの使い方など関係する知識の解説を行っています。 DBOnline MySQL、 PostgreSQL、 SQLite などデータベースに学習するためのサイトです。インストール方法や具体的な操作手順について解説を行っています。 ハウツーノート Twitter や Gmail、 YouTube など各種インターネットサービスの使い方について解説を行っています。 OfficePro Microsoft 社の Word、 Excel 、 Access に関する利用方法や VBA を使ったプログラミング方法について解説を行っていま
PHPとJavaScriptでHTTPストリーミングする話(Transfer-Encoding: chunked編) - id:anatooのブログ
HTTPレスポンスをajaxでストリーミング的に受け取りたいとき、要するにHTTPストリーミングをしたい時には、Transfer-Encoding: chunkedなレスポンスを生成してやるとよい。こうするとAjaxではHTTPレスポンス全体を受け取るのを待たずに、レスポンスの中身にアクセスすることが出来るようになる。従って、一つのHTTPコネクションでサーバ側から任意のデータを好きなタイミングでプッシュすることが出来る。 コード 一秒ごとに生成されるJSONをストリーム的に受け取るデモのコードが以下。 <?php // push.php function output_chunk($chunk) { echo sprintf("%x\r\n", strlen($chunk)); echo $chunk . "\r\n"; } header("Content-type: applicati
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
