いつ始まりいつ終わるのか謎ですが、またKindleがセールをやっています。最大50%OFFセールで、ポイント還元ではなく安売りです。 www.amazon.co.jp 今回の対象は301件で、ほぼ一般書が対象となっています。その中で目を引いたのは、下記の本です。紙の本で読んだことがあるのも含めて、ポチポチしました。 ジャレド・ダイアモンドの銃・病原菌・鉄（上下）と文明崩壊（上下） 鉄板のジャレド・ダイアモンドですが、銃・病原菌・鉄は手元になかったので、Kindleとして買っておきました。文明崩壊は、既にKindle版を購入済みでした。賛否いろいろありますが、文明の発展をその周りの環境の関連性を独特の視点で分析する手法は色々な発想につながり面白いです。読んでいない人は、是非一読して欲しいです。 銃・病原菌・鉄　上巻 作者: ジャレドダイアモンド出版社/メーカー: 草思社発売日: 2013/0

勉強会やスライドで紹介していましたが、Ruby×クローラーという題材で、『Rubyによるクローラー開発技法』という本を書かせて頂きました。RubyとEmacsの鬼であるるびきちさんとの共著です。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る この本を書いた理由 そもそものキッカケは、るびきちさんのエントリーにある通り、SBクリエイティブの編集者さんが、クローラーの作成経験のある人を探していて、私の書いた「オープンソースのRubyのWebクローラー"Anemone"を使ってみる」を読んで打診してくださったというのが始まりです。 私自身も、Webからデータを収集して分析するということは、趣味として長年やってきました。一

CocProxyというツールがあります。名前の通りプロキシサーバーなのですが、用途が開発用です。置換プロキシと言うらしいですが、これがとっても便利です。例えば、クローラーの開発や、HTML,CSS,JavaScriptの修正をする際に、このCocProxyを利用するとダウンロード待ちのイライラが解消され、効率アップ間違いなしです。ローカルのみで完結するのと、Webへのアクセスが必要とするのでは、スピードが数十〜数百倍違います。一回だけでみたら、数百ミリSecの差ですが累積で考えると大きいですよ。 CocProxyとは？ Ruby製のProxyServerです。かつ標準ライブラリで動くことを目標としているので、Rubyの環境があれば、ダウンロードして直ぐに使えます。また基本的には1ファイルで完結するので、導入も簡単です。Ruby1.9をベースにしていますが、Ruby 2.0でも特に問題なく動

RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア

最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。　「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic

2013年の振り返り中です。第二弾は、書籍編です。 2013年は個別に本の紹介の記事を殆ど書かずに、年末に100冊をまとめて紹介したのみです。そう言った理由もあり、ランキングに入った本は100冊の中に含まれているのが多いです。また過去に紹介したもので検索上位に入るものは、ランク外でもロングセラーとして根強い人気でした。この結果を見ると、いかに良い本を紹介するかが決め手ですね。 ランク内で個別の記事で紹介した本は、入門Chef Soloと銃・病原菌・鉄、金融商品にだまされるな!の3点のみです。入門Chef Soloは圧倒的な人気で、昨年のChefブームに上手く乗れたと思います。またそもそも、この入門Chef Solo自体がChefブームの火付け役になったことは間違いないでしょう。「銃・病原菌・鉄」は、私の最も好きな本の1冊です。Kindle化もされたこともあり、手に入れやすく読みやすくなりま

何となく、自分への戒めのエントリーです。 日常の色々なシーンで、片手で物を持ったまま何かの作業をすることがありませんか？フライパンを持ったまま、皿を探して引き出しを漁ったりです。不器用な私は、大抵の場合何かやらかします。皿を落としたり、出すのに10倍の時間が掛かったりです。この片手というのは物理的な物でなくて、報告書を書きながらTwitterのタイムラインを見てたりなども含みます。 今更気がついたことなのですが、人間はマルチタスクの効率はすこぶる悪いです。片手に物を持っているだけで、脳みそのリソースのかなりの割合を消費しています。人間がマルチタスクに向かないという事実を解る次のような実験があります。 実験１ １．紙を用意してください。 ２．数字に１２３１２３と繰り返し書いてください。 ３．１０回繰り返した時点で、手を挙げてください。 恐らく30秒もしないで、終わると思います。 実験２ １．

人類の永遠のテーマ、というか受験生の永遠のテーマの1つが「やる気の出し方」です。やる気が出なくて、やる気を出す為に運動をしたり部屋を片づけたり、そんなことをしている間に時間がなくなったことありませんか？私は、いつもそうでした。 そんな学生時代でしたが、社会にでて10数年。やる気の出し方が少し解ったような気がします。ずばりやる気が出てくるのを待つのではなく、やる気がなくてもとりあえず始めることです。対象は勉強でも、プログラミングでも、運動でも何でも同じだと思います。やる気が出なくて嫌でも、始めて5分もすれば意外に調子が出てくることないですか？ これには、それなりの根拠があるようです。脳の海馬を研究している池谷裕二さんと糸井重里の対談本に次のような一節があります。 「やる気」を生み出す脳の場所があるんですよ。側座核(そくざかく)と言いまして、脳のほぼ真ん中に左右ひとつずつある。 〜中略〜 とこ

増田で、この記事が話題になっていました。 正社員に仕事を教えたくない 私は今年で契約が切れるパート。同じ部署に昨年、数歳年下の新入社員が配属された。 彼女は私が少ない仕事から数年かけて学び、また効率的に処理できるように試行錯誤して会得したノウハウを、たくさんの仕事の中でどんどん吸収している。これまで私しか使えなかったソフトも、ほぼ同じくらい使えるようになった。 この記事書いた人の仕事の内容はよく解らないので元ネタに対するコメントは差し控えます。一方で、これを見ていたIT系エンジニアのクラスタっぽい人々が、技術職にとっては技術を伝えると自分の価値が無くなるよなぁ的な発言をしているのを幾つか見たののが興味深かったです。なので、ITエンジニアにとっての技術と、それを伝えるということを考えてみました。前提として、ITエンジニアの技術についてです。製造業の技術流出は別の問題だと思うので、対象にしてい

思い立ったようにJenkins特集をしておりますが、今回はJenkinsとSelenium WebDriverでUI層のテストの自動化をする話です。Seleniumは面倒臭い画面のテストを自動実行してくれるツールで、出てきてからもう７〜８年がたちます。Web系の開発に携わっている人であれば、一度は試したことがあるのではないでしょうか？そして、必ず挫折したことがあると思います。 その理由としては、せっかく作ったSeleniumのテストケースが腐ってくるからです。一般的にはUI層の変更は、ロジック層に比べて変化が激しいです。だからこそテスト自動化して保証することに意味があるのですが、そのテストケースを維持するのは大変です。そこで、Jenkinsの登場です。Jenkinsでサーバサイドで継続的に実行することにより、Seleniumのテストケースが成功を保てるようにします。また、複数のブラウザ・バ