WebスクレイピングライブラリGoutteで遊んでみる - hnwの日記
新年あけましておめでとうございます。今年もボチボチやっていきます。 本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。 具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。 さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お
PHPより気軽に、Rubyで簡単ウェブ開発 - m.igrs.jp
元旦に rack-server-pages というものをリリースしました。 元旦リリースしました。僕からのお年玉です。 > rack-server-pages j.mp/uNthnL #ruby — Masato Igarashi (@migrs) January 1, 2012 実は数年前からずっと作りたいと思っていたもので個人ToDoリストに長らく居座っていたものがやっと着手できた。 Ruby で WEB開発といえば Ruby on Rails というデファクトスタンダードを筆頭に MVCフレームワークを利用するのが一般的ですが、現状フレームワークを利用しないという選択肢がほとんど無いんですよね。 フレームワークというキーワードを聞くだけで「よく分からない」「プログラマの為のもの」 感覚になってしまう人も多いはずです。 たとえシンプルで軽量といわれている Sinatra ですら。 PH
実質1行でメールフォームのSPAMを防ぐjQueryスクリプト
3月に フリー写真素材 :: Free.Stocker という無料写真素材サイトをオープンし、このサイトのサイドバーに クックパッド みたいに気軽にメッセージを送れるフォームを設置しました。 しばらくは何事も無かったのですが、ある日突然大量のSPAMメッセージが送られてくるように…(●´⌓`●) 酷い時には3分〜5分に1通送られてくるし、試しに送り元のIPアドレスとホストを調べてみたら毎回バラバラなので困りました。 こんな時、多くのサイトでは CAPTCHA と呼ばれる読みづらい英数字の羅列の画像を入力させることが多いと思いますが、それでは「気軽にメッセージを送れるフォーム」とは言いづらいですし、サーバーにもページを表示させるたびに毎回余計な負担がかかってしまいます。 試しにWordPressのSPAM防止などに広く使われている Akismet というSPAM防止APIをメール送信スクリプ
条件分岐タグ - WordPress Codex 日本語版
はじめに 条件分岐タグ (Conditional Tag) は、テンプレートファイル内で表示される内容や、特定のページ内容を表示する条件を設定するのに使います。例えば、ブログのホームページの上部に短い文を表示させたいとしましょう。is_home()を使えば、簡単に実行できます。 これらのタグはテンプレート階層と深い関わりがあります。 注: 条件分岐タグが使えるのは WordPress の posts_selection アクションフックの後のみです (wp アクションフックはこれらの条件分岐を使える最初のものです)。テーマの function.php 本文内 (関数の外) では正しく動作しません。 しかし query オブジェクトへの参照があれば (例えば parse_query または pre_get_posts フック内から )、WP_Query 条件メソッドを使用できます(例: $q
phpによるスクレイピング処理入門
1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか？ 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
プロとしての行為 Act as Proffesional
1．一般的なコーディング規約に目を通し、エレガントなコードを知る エレガントなコードを書くためには、エレガントなコードを知らなければならい。その土台を築いているコーディング規約について、オープンソースではどのようなものが使われているのか理解しておこう。入社する予定の会社が採用している言語については必ず目を通しておこう。 PHP PEAR 標準コーディング規約 symfony CodingStandards Perl perlstyle Ruby クックパッド株式会社のRubyコーディング規準 Matzスタイル NaClで採用している規約 Python PEP 8 そして、あなたの身近にあるオープンソースのコードを実際に読んでみよう。この時点でコードの仕組みや設計が理解できなくても良い。コードがエレガントかどうか？を感じ取って欲しい。こう書いた方が、良いのではないか？など、考えてみよう。
WEBサービスを作るなら最低限覚えておきたいPHPのPEARモジュールまとめ:phpspot開発日誌
(追記) 2/16 23時 いくつかのライブラリを追記しました。 WEBサービスを作るなら最低限覚えておきたいPHPのPEARモジュールまとめ。 本家pearには560程のモジュールがあります(2011/2月現在)が、WEBサービスを作る上でよく使う物をまとめてみました。 これからPHPを使ってサービスを作ろうと思っている方は代替を使うことになると思うので参考にしてみて下さい。 php はインストール時点で既に多くの機能が備わっており、大体のことができてしまいますが、PEARを使うことで面倒なことがより簡単にできるようになります。 PEAR以外にも便利なライブラリはあるのですが、今回はあえて殆どをPEARサイトで公開されている物に絞ってご紹介します。 基本的なパッケージ まず、汎用に使える便利なパッケージのご紹介です。 HTTP_Request2 url を渡してリモートのテキストを取って
文系ド素人がmixiアプリを開発〜リリースするまでのまとめ - kazu0620's blog
というわけで プログラミング未経験の状態から、mixiアプリのリリースまでなんとか漕ぎ着けることができました！最近、OpenSocial界隈は盛り上がってるみたいだし、プログラミング経験はないけれど、興味ある！って人も多いと思います。そこで、所謂「ド素人」の状態からプログラミングを勉強してmixiアプリをリリースするに至るまでの僕の軌跡と、何をどう勉強すればいいのか？ってのをまとめてみました。webで調べたり、プログラマの知人に相談したりしてこれは良かった！って部分を抜き出してまとめたので、これから勉強するぞって方は参考にして頂ければ幸いです。これであなたもＳＡＰ（ソーシャル・アプリ・プロバイダー）に！ 完成したアプリ 「一行リレー小説」 http://mixi.jp/view_appli.pl?id=15525 開発期間：実質3ヶ月程度 リリース日：3月24日 現在の投稿総数:7622行
プログラミングができなくても作れるTwitter botの作り方
Twitterのおかげで、それまではごく一部の人しか知らなかったbotというものが、だいぶん身近で親しみやすいものになったと思うんだけど、 こうなったらもっと気軽に誰でもbotを作れるようになったら楽しいんじゃないか。プログラミングができない人でも一人一botくらい持つ勢いで。 ということでこの記事を書いてみました。
DOMAIN ERROR
ドメインウェブの設定が見つかりません 考えられる原因 ドメインウェブの設定がまだ行われていない。 ドメインウェブの設定がまだ反映されていない。(反映には数時間～24時間かかることがあります) ドメインウェブ・DNSの設定が誤っている。 アカウントが存在しない、契約が終了している、削除されている。
xhtmlを中心にモバイルサイト構築ノウハウまとめ - 適当な日々
webの仕事をしながら家でもwebサービスとかを作ったり作らなかったり、成長と挫折の記録・・・かもしれない仕事で某ポータルサイトのモバイルページを構築するようになって1年近く。 ノウハウがある程度溜まってきたのでxhtmlのことを中心に色々とまとめてみる。 目次 雑多なこと ヘッダー divタグ spanタグ brタグ hrタグ imgタグ aタグ サンプル 雑多なこと 出力は基本Shift_JISで（ドコモ基準） 静的ページを作るときは拡張子を.xhtmlにしないとドコモ端末がxhtmlをhtmlと認識してしまう。 （というか静的ページは絵文字とかヘッダー周りで色々不便なので、止めといた方がいい） 動的ページを作るときはapplication/xhtmlをヘッダとして送信してやらないとドコモ端末がhtmlと認識してしまう。phpだと出力前にこんな感じの処理。 header("Conte
会員制ログイン機能を簡単に付加するスクリプト「PHPLogin」 - GIGAZINE
「会員制ログイン機能」を搭載しようと思うとなかなか骨が折れます。で、そういった面倒な部分のみを提供し、簡単に実現できるのがこの「PHPLogin」というスクリプト。既存のスクリプトなどにすこし追記するだけで使用可能です。 実現できる機能としては、会員のログイン率のグラフ化、ユーザーのグループ化、メールの一斉配信、フォームの入力チェック、オンラインかオフラインかの表示、多言語対応、メールによる認証、二度目以降のログインの省略などなど。 ダウンロードと実際の機能の詳細、デモなどは以下から。 PHP Login script http://www.phplogin.net/ 以下のページから無料版がダウンロードできます。無料版は20ユーザーまでという制限があります。ちなみに有料版だとユーザー数が無制限で、価格は29ドル。 Download the trial version of PHPLogi
10日で覚えるPHPのキソ（超基礎編） 第 1 回 PHPの約束事 | バシャログ。
この春からプログラムにチャレンジしよう！と意気込んでいる方もいらっしゃるのではないでしょうか？ 先日、おすすめ本を紹介させていただいたのですが、本を読みながらの学習では、途中でつまづいたり、なかなか長続きしない、といった方もいらっしゃると思います。 そんな時のお手伝いができたら…と、シーブレインでは今回の連載 「10日で覚えるPHPのキソ」を企画いたしました。 どうぞよろしくお願いいたします。 第1回は PHPを勉強する時に、まず最初に覚えておきたい約束事！ についてお話しいたします。 その前に、PHPとは… PHPはプログラミング言語 日本語・ドイツ語・フランス語があるようにPHPも言語の1つです。 プログラミングをするための言語ですね。 プログラミング言語には大きく分けて、インタプリタ型とコンパイラ型があります。 PHPはコンピュータが直接理解可能なコードへの翻訳作業を、プログラムの実
PHPを使って更新をラクにする - ネットマニア
ネットマニア全ページがPHPです！ PHPって難しく考える人もいるかもしれないですが、一度マスターしたらとても便利です。 現にネットマニアの全ページがPHPです。 なぜPHPを使っているのか？ 以前はhtmlを使用していました。 htmlでページ数が増えていった場合の難点と言えばまずメニューです。 例えば、最初はメニュー項目が5つだったが、その後6つに増えました。 しかし、それまでに同様のページを10ページ作っておりメニュー項目を変更するには、10ページ全部を更新する必要があります。 これが面倒であり、htmlの弱点でした。かと言ってフレームにするのは何かとイヤです。 そんな悩みに応えてくれるのがPHPなのです。 PHPはメニュー項目を外部ファイルから呼び出すことが可能であり、何百ページあっても１つのファイルを変更するだけでメニュー項目の変更ができるのです。 つまり、各ページでメニュー外部
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
借金するにはまずはここから！【キンBorrow】
x.com
IDEA * IDEA
trick7 RTP Live: Info Bocoran RTP Slot Online Pragmatic Play Gacor Terlengkap -
HugeDomains.com
