2010年7月17日に、栃木県北部の西那須野公民館に30名近くの人が集まり、「⁠とちぎテストの会議」が開催されました。本稿では、本イベントのレポートをお届けします。 本レポート写真協力：佐々木揚さん、中内章一さん 深夜のTwitterから始まった、とちぎテストの会議 本イベントは、2月ごろにTwitter上でTDD（テスト駆動開発）をめぐる議論が行われたことが発端となっています。同じ「TDD」という言葉を見たときに想像する内容が人によって大きく異なるらしい、ということがこれらの議論から見えてきたため、「⁠それなら、様々な立場の人を集めて議論してみよう」というところから本イベントが企画されました。 TDDはテスト手法か否か（@kdmsnrさんまとめ） TDDについて（@t_wadaさんまとめ） 深夜のテストTL（@fistfvckさんまとめ） TDDネタ再燃？（@vestige_さんまとめ）

最近，RubyのWWW::Mechanizeで遊んでいます． WWW::Mechanizeは内部的にHpricot(HTML文書スクレイパ)を使っており，WWW::Mechanize経由でHpricotにsearchメソッドなどを送れるわけですが，このときにXPath式を渡すことで，目的の部分のHTML要素を得ることができます．これがまた気分爽快．たとえばこんな感じに使えます:: #!/usr/bin/ruby # Yahoo! Newsのヘッドラインを抜き出す require 'rubygems' require 'mechanize' agent = WWW::Mechanize.new page = agent.get('http://headlines.yahoo.co.jp/hl') headline = page/'//h1[@class="yjXL"]/a' # '/'はse

スクレイピングしたいなーと思いまして，スパイダリングとともにスクレイピングも載ってるという噂の spidering hacks を読むなどしてみました． ISBN:978-4873111872:detail ところが，途中まで読んで気づいたのが，この本には Web::Scraper が載っていない． たぶん，出版時点で Web::Scraper は開発されてなかった これはもう，web を使いながら自分で覚えていくしかないかなーと，ぼくは Scraper をちょっと勉強することにした． HTML 中の抜き出したい要素をどうやって指定するかについては，CSS セレクタと XPath があるみたいですね．ぼくは両方とも，概要しか知らんなーと思って，まずは楽そうな CSS セレクタを見てみた! 研修の休み時間とかに必死こいて見てたよー．たぶん，CSS セレクタの最新の仕様はこれかな．workin

これまで，Pythonによる初めてのコーディングと，RDB（リレーショナル・データベース）をオブジェクトとして扱うデータベース・プログラミングについて簡単に紹介しました。今回は，Pythonを使ってWebの情報を自動取得するスクレイピング・プログラム（WebサイトのHTMLを抽出・解析して情報を取得）の作成にチャレンジしてみましょう。 ところで前回までは，WindowsからLinux（Ubuntu）にリモートログインして開発をおこなっていました。今回からは一歩踏み込んで，クライアントにMacを採用して本格的な開発の環境を用意してみることにします。 Macを利用する意義 開発環境をMacにするメリットは以下の通りです。 Mac OS XはUNIXであり，UNIX/Linux環境はスクリプト言語の開発に適している 最新のPythonがはじめからインストールされている EmacsやVimなど強力

スクレイピングにほとんど必須な作業に、相対パスからhttp://〜のURLを導きだす作業があるわけですが、Diggin_ScraperのデフォのアダプターにしているHTMLScraping classなんかは、正規表現+pearのNet/URLを組み合わせた関数(getAbsoluteUrl)が用意されてまして、それでももちろんOKというか、ピュアPHPなのでそれでいいじゃんていう訳ですが、pecl_httpを使うと正規表現やる必要がないんですよね。やったー。ほら、PHPって正規表現組み込みじゃないから使いにくいし〜。 前々から気になっていたので、ベンチマーク。ただし、私が作ったhttp_build_url仕様のやつは、全部のパターン網羅できてないかも。 絶対URLを取得する方法は、下記のコード以外に、Rinza_IEパッケージのものとか、あるわけですが今回は除外。 <?php requi

GWはせっかく暇になったので、プログラミングのお勉強をしました。 私はプログラマーではありませんが、XHTML、CSS、Javascriptなどのフロントエンド技術の他、その領域に近いプログラミングはできるようになりたいと思っています。 スクレイピングなんかはできるようになっておきたい技術のひとつです。 ということで、初スクレイピングのスクリプトを作りました。 Google App Engineも話題になっているところなので、あえてPythonで。 スクレイピングと言ったら、やっぱりおっぱいが登竜門かなと思い、おっぱい画像をたくさん手に入れようと試みました。 最近、本人インタビューでも話題になった、ゆーすけべーさんが教科書です。 ITは、いま：鎌倉の自宅ではたらく、父子2人のIT企業 (1/2) - ITmedia ニュース いかにして効率よく大量のおっぱい画像をダウンロードするか - ゆ

ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ

書籍をpdf化してiPadで読むために、電子カッターや裁断機を使用せずに電子レンジで糊を溶かして分解する方法を試してみました。（注：ホッチキスや金属の使われている本は炎上するので危険。）

Domaでは、Daoのメソッドに期待されない引数（nullとか）が渡された場合に例外をスローしますが、そのときの例外にNullPointerExceptionやIllegalArgumentExceptionを使っていません。代わりに、DomaNullPointerExceptionやDomaIllegalArgumentExceptionといったDoma独自の例外を投げます。 これはなぜかというと、Daoのメソッドに対する事前条件を満たしていないのか、それともDoma自身にバグあって例外がスローされてしまっているのをわかりやすくするためです。 つまり、DomaNullPointerExceptionやDomaIllegalArgumentExceptionがスローされるということは、「これはDomaが意図的にスローしています。なんらかの条件を満たしていません。」というメッセージです。そし

スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::

http://userscripts.org/scripts/show/41488 のソースと自分のソースをを見比べているうちにGoogleの検索結果画面をスクレイピングするのはちょっとダサいなあと思ったので Xurrency http://xurrency.com/ のAPIからレートを取得するように変更しました。 Ajaxで取得するデータが少なくなったせいか、少しだけ速くなったような気がします。 その代わりと言っては何ですがUSとUK以外の国のAmazonで動く可能性はなくなりました。

スクレイピングでのログイン・ログアウトまで実装。ソースは以下。 →Github - unageanu / clickclient_scrap Githubに置いてみました。gemspecはまだちゃんと書いてないのでgem経由でのインストールはできません。 サンプル ログイン/ログアウトのサンプルコードは次のとおりです。このファイルと同じディレクトリに、「user」「pass」ファイルを作成して、ユーザー名とパスワードを設定しておく必要があります。 $: << "../lib" require 'clickclient_scrap' USER=IO.read("./user") PASS=IO.read("./pass") c = ClickClient::Client.new c.fx_session( USER, PASS ) {|session| puts "You are logge

PHPカンファレンス2010テックデイでの講演資料 PDFダウンロードは http://www.hash-c.co.jp/archive/phpconf2010.htmlRead less

はてなハイクをAPIを使わずにHTMLで解析することになった。 ここにとりあえずURLをまとめてある。 で、最終的にはHatenaHaiku4Jに組み込む予定なんですが とりあえずGroovyで動作などを下調べということで、書いたソースが以下。 ソース 解説 正規表現版とXmlSlurper版を書いてみた。 正規表現版 力技的です。空白とか改行とかの扱いがちょっとイヤだなぁという印象。 XmlSlurper版 取得してきたHTMLにXML宣言などをちょっと付け加えてValidなXMLにしてしまうという方法。 この方法だと空白とか改行とかの扱いはパーサがやってくれるので楽。 正式採用はこちらにします。 参考 404 Unknown page Reading+XML+using+Groovy

ドットインストール代表のライフハックブログ

スキルチェックの目次へ JavaScript の簡易スキルチェックのための調査表。印刷用。 レベルは，０から４までの５段階。 （０） 非 JavaScript開発者 （１） 初学者（入門書を学習してゆく段階） （２） ノーマル（基礎的な知識があり，ある程度の動くものを作れるようになった段階） （３） 中級者（開発プロジェクトで１人月としてカウントできる水準） （４） 上級者（メインPG/メンターとして，主設計を任せられる水準） Webアプリのプロジェクト開始時に作業振り分けをするにあたって，新規メンバ全員にこれを渡して回答してもらうという用途を想定。 ※なお，下記URLでは10段階に細かく分ける方法が公開されているが，それだと細かすぎてレベルが前後する可能性があり，業務上のスキルチェックは難しいかもしれない。 javascriptプログラマのレベル10 http://tech.kayac.

目標 スクレイピングして必要な情報を取ってくる スクレイピング対象の更新に合わせて、起動する スクレイピングした情報をまとめて、Twitterにポストする 実装 スクレイピング XPathなどを使ってクールにスクレイピングを決めようと思っていたが、壊れたHTMLも読めるようなちょうどいいライブラリが見つからなかったので、jericho html parserを今回は使った。 HTML以外にもPHPが読めたりと多機能なパーサーだが、XPathが使えない。 ここからダウンロードして、WEB-INF/libに配置した。 final Source source = new Source( new URL("http://google.com/") ); Element el = source.getElementById("ghead") .getAllElements(HTMLElementNa

OSの仕組みを解説した本はいろいろあるけれど、専門書になるとやたらと分厚いものが珍しくない。確かに巨大なOSの中を詳しく解説したら分量が増してしまうのは仕方ないとはいえ、そこまで詳しくなくても良いので、もう少し手軽に、しかし専門家が書いたしっかりとした内容の書籍を求める人は少なくないはずだ。 そんなわがままな人（もちろん私のその一人）に勧めたいのが「オペレーティングシステムの仕組み」だ。170ページほどの手軽な薄さながら、OSのエッセンスが簡潔にまとめられており、説明が分かりやすい良書だ。デバイスやカーネルの話から始まり、プロセス、メモリ管理、仮想記憶、ファイルシステム、セキュリティなどOSの基本が一通り載っており、最後には「ケーススタディ」としてWindowsに関する説明もある。 特に、前半の34ページに早くもスレッドの説明が出てくる辺りは、昨今のOSの状況を踏まえた上手い構成だと思う。