Brief History of XMLXML, or Extensible Markup Language, came into existence in the mid-1990s as a universal standard for structured document markup. The World Wide Web Consortium (W3C), led by Jon Bosak, developed XML as a simplification of the Standard Generalized Markup Language (SGML). The XML 1.0 Specification was accepted as a recommendation by the W3C in February 1998, marking its official s

WebスクレイピングのライブラリhtmlSQLの使い方メモ。 スクレイピングの準備 //Snoopyをinclude include_once("../snoopy.class.php"); //htmlSQLをinclude include_once("../htmlsql.class.php"); //インスタンス生成（Exampleで使われている"$wsql"という変数名は、昔はWebSQLという名前だった名残り） $wsql = new htmlsql(); Webページからスクレイピング if (!$wsql->connect('url', 'http://codedump.jonasjohn.de/')){ print 'Error while connecting: ' . $wsql->error; exit; } ローカルにあるファイルからスクレイピング if (!$ws

ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.

APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTMLScraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき

PerlとRubyの文法一覧がとても良くまとまっていたので、便乗してPHPでもやってみました。 Perl基礎文法最速マスター – Perl入門〜サンプルコードによるPerl入門〜 Route 477 – Ruby基礎文法最速マスター 他の言語をある程度知っている人はこれを読めばPHPの文法を何となく理解できると思います。 間違い、不足等々あれば教えて下さいm(_ _)m バージョン PHP5.3系がリリースされていますが、ここではPHP5.2系を対象としています。 1.基礎 コードブロック PHPコードは「<?php」という開始タグから始まります。終了タグは「?>」です。HTMLにPHPコードを埋める際は終了タグを使いますが、ライブラリのようにPHPコードのみを記述する際は終了タグを省くことが慣例となっています。 終了タグを省く理由について id:Kiske さんに解説頂いています。ありが

前章まででHTMLファイルの取得ができました。この章ではいよいよ、実際のスクレイピング処理のプログラムを作り始めます なお、スクレイピング処理は、「ある規則性を持ったHTMLファイルを、その規則性を解析し、必要な部分を抜き出すプログラミングを作成し、実行すること」です。規則性はサイトごとに違うので、自分の取得したいサイトに合わせたプログラミングが必要です。 このサイトでは、幾つかの例を実際に試してみることにより、自分で自分の取得したいサイトのスクレイピング処理ができることを目的としています。サイトが違えば、当然規則性も違いますので、取得したいサイトにあわせてプログラムを工夫する必要があります。 今回のターゲットは「はてなブックマークのトップページの最近の人気エントリー」の情報を取得することにします。はてなブックマークのトップページの情報を取得するプログラムは前の章で書きましたので、このha

After seeing some of the other coding approaches to personal short URL services, I decided to write my own PHP URL shortener script and share it with the world. Thanks to the help of others, such as Nicolas, Derek Gathright, and Adrien Gibrat I’ve been able to take this script much farther. Benefits Can shorten over 42 billion unique URLs in 6 or less characters (it can do more than 12,000,000 in

ＰＨＰサイトを作っていて画像をどう保存しようかと思い調べたときの備忘録です。 自分は今回はハードルが高かったのでｗ　別の方法を選んだのですが、次はＭｙＳＱＬに保存しようと思っています。 なので・・・・以下にメモっておきます。 引用サイトは　http://firegoby.theta.ne.jp/archives/582 CMSなどで画像をアップロードする機能を実装する際にその画像をDBに保存すると、サーバーを冗長化する際やサムネールを作成する機能を実装する 際にいろいろと便利になるので、そのやり方をご紹介します。 DBに保存するメリット サーバーを冗長化する際に、画像をファイルとして保存するとそれぞれのサーバー間でアップロードデータの同期がひつようとなったり、NASを導入 する必要があったりするが、DBに保存してしまえばその必要がなくなる。 サムネール画像を作成するなどの機能で、途中で

WordPressに自動で記事を投稿するＰＨＰプログラム　を書いてみた WordPressに自動で記事を投稿するＰＨＰプログラム　を書いてみた。 先日ＦＣ２ブログに自動投稿するプログラムを書いたが、そのまま転用してＷｏｒｄｐｒｅｓｓに使えるかテストしてみたところ問題なく投稿できた。 せっかくなので公開しておきます。 基本的にはＦＣ２用と同じですが、コメント等を若干書き換えてます。 ベースはこちらの記事を参照 ＦＣ２ブログに自動で記事を投稿するＰＨＰプログラム　書いてみた。 コードだらけで見にくいですが、変更箇所のコメントがある変数の値を書き換えるだけです。 簡単に説明すると ドメイン：http://marumusi.yahoo.com WordPressディレクトリ：http://marumusi.yahoo.com/wp WordPressユーザー名：admin WordPressパスワ

ＦＣ２ブログに自動で記事を投稿するＰＨＰプログラム　書いてみた。 ＦＣ２ブログに自動で記事を投稿するＰＨＰプログラム　書いてみた。 ブログに外部プログラムから投稿するには、XML-RPC　というインタフェースを使ってｐｈｐで.... って頭が痛くなりそうなので難しい話は自力で調べてください。＾＾； キーワードは、php xml-rpc XML/RPC.php xmlrpc.php などで検索すればいいかも。 仕組みを知りたい方はとりあえずこちらでも http://mikilab.doshisha.ac.jp/dia/research/report/2005/0813/007/report20050813007.html さて、テストしたプログラムですが正常に投稿できているようなので公開します。 このサンプルプログラムをベースにすれば後は簡単だな。v(^^ ちなみにこちらのサイトを参考にさせ

Free Ecommerce CMS solution: software for your online store | LiteCommerce モダンなＵＩを活用したショッピングサイト運営用phpオープンソース「LiteCommerce」 最近公開されただけあって、アイテムをドラッグ＆ドロップでバッグに入れたり、ページ遷移に一部ajaxが使われていたりします。 以下がデモ画面。アイテムや文字が大きく表示されており見やすいのが特徴 デモページはこちら 利用にはPHP5.3以降、MySQL5.0.3以降が必要 関連エントリ PHP製のショッピングカートシステムいろいろ PHPで書かれた次世代のショッピングカートシステム「TomatoCart」 フリーで使えるPHP＋MySQLで構築されたショッピングカートシステム「Zeuscart」

PHP を知らない人に PHP の話して欲しいと言われたのでブログ書きました。 難しい話は抜きにして PHP <?php と ?> で囲えば動きます。PHP が動くサーバーなら今まで作ってた example.html というファイルの拡張子を example.php とすれば良いだけです。

サーバ上で動いてるどのphpが重いか？を調べられる「PhpTop」。 「サーバ監視に超使える〜topコマンドのまとめ」というエントリで様々なtopコマンドを紹介したのですが、phptopなるものを新たに発見したのでご紹介。 具体的に出来ることは、今サーバで動いているものを指定した期間で、もっともアクセスが多いphp、CPUを多く消費しているphp、メモリを多く使っているphpといったものを降順にソートできるというものです。 サーバ上で多くのphpが動いており、どうも負荷が高いけどどれが重いのかよくわからないという場合に使えます。 top コマンドでは httpd が動いてるぐらいしか分からないので phper な方で負荷にお悩みの方は使ってみるのもよいかも。 たとえば、 $ phptop -t 15 -s mem のように実行すると、15分以内で、メモリを多く使っている順にソートが可能。

phpのserializeを使うより高速でサイズもコンパクトに仕上げる「MessagePack」とPHP拡張 2010年12月15日- The MessagePack Project phpのserializeを使うより高速でサイズもコンパクトに仕上げる「MessagePack」とPHP拡張。 結構前のエントリのご紹介なので知っている人も多いと思うのですがご紹介。 phpには serialize という関数があって、配列等の複雑なデータも文字列にして、ファイル等に保存し、後ほど unserialize 等で変数に戻せて便利なのですが、MessagePackとそのPHP拡張を使えば、より高速で、serialize後のデータも小さくできます。 MessagePack自体はkumofsの内部で使われていて、PHP以外にもc++, erlang, haskell, java, perl, pyth