[B! curl] misotasのブックマーク

[PHP][cURL] cURLでリダイレクトをたどるようにする

PHPはサイト解析するためにURLから情報を取得する方法がたくさんある。その一つにcURLというのがある。 cURLではHTTPステータスコードが300系などで既に移転してしまったサイトなどはリクエストのヘッダにLocationがあればリダイレクトしてたどっていく機能がある。 //URLを指定する $url='google.co.jp'; //cURLを初期化して使用可能にする $curl=curl_init(); //オプションにURLを設定する curl_setopt($curl,CURLOPT_URL,$url); //Locationをたどる curl_setopt($curl,CURLOPT_FOLLOWLOCATION,true); //最大何回リダイレクトをたどるか curl_setopt($curl,CURLOPT_MAXREDIRS,10); //リダイレクトの際にヘ

misotas 2013/04/26

php
curl

リンク

『cURLを使ってHTTPクライアントプログラムを作る』

curlというコマンドを使えば、Linuxなどのサーバー上でコマンドラインから簡単にHTTPやFTPなどのリクエストを処理することができます。 PHPのcURL関数は、そのcurlコマンドと同等の機能を関数レベルで提供してくれます。このcURL関数を使って、HTTPクライアントをプログラム上に実装してみたいと思います。ちなみに、プログラムをHTTPクライアントとして動作させたい場合は、PEARのHTTP_Client を利用した方が直感的でわかりやすいかもしれません。 PEARのHTTP_Clientの利用法は、「Twitterのタイムラインを取得するPHPスクリプト」で簡単に触れていますので、そちらも合わせてどうぞ。まずは、PHPのプログラムからとあるサイトへアクセスし、ブラウザ同様にHTMLを取得すると言うことをやってみます。 <?php $url = 'http://www

misotas 2012/12/27

curlでtwitterにデータをpost

php
curl

リンク

PHPでマルチスレッド(バックグラウンド処理)を実現する方法 - EC studio 技術ブログ

PHPで長時間かかる重い処理を行うとき、マルチスレッドで動かせたらなぁ！と思うことがよくあります。マルチスレッド処理を行うことで、時間のかかる処理を複数同時に並列実行でき、高速化することができます。 (特に通信処理などで遅延がある場合に有効です) PHPにはpcntl_forkというプロセスをフォーク(複製)することができる関数がありますが、これはPHPをCGIモードで動かしている場合にのみ有効です。通常はPHPをApacheモジュールとして動作させていることが多いので、これが使えないケースが多々あります。他には、system関数などでシステムコールを行い、など & を使って実行するという方法もありますが、これもphpがCGI版として実行できなければいけません。システムコールで呼ぶプログラムをPerlなどで書けばいいのですが、できればPHPで全部統一したいものです。

misotas 2012/12/17

curl_multiを使った並列通信

リンク

PHP5で、マルチアクセスな似非クローラ作った | zaru blog

使い捨てレベルで、クローラを作らなくちゃならなくなったので、とりあえず file_get_contents でもループして放置するか…とも思ったけれど、せっかくなので同時に4接続ほどするようにしてみた。PHP5には curl_multi_exec という便利なものがあるので、これを使う。ソースクローラクラス <?php class multiCrawler{ var $uriArray = array(); var $output = array(); var $timeout = 0; var $ua = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12'; //最大同時接続数 var $accessMaxNum = 4; var $start = 0; /