予定をとっくに過ぎているのに原稿が書けません。そんな秋の夜長ですが、自分が書いた本がKindle版で割引率が拡大しています。結構お得感が出ているので紹介しておきます。 Kindel本は、改訂版が出た時に無料でアップデートできるという特典があります。技術書の寿命はせいぜい2年くらいですが、改訂で上手く生きながらえる場合もあるので、個人的には最近技術書を買う場合はKindle版しか買っていないです。 Rubyによるクローラー開発技法 編集者も何故売れるのか解らないと言っていたクローラー本です。発売して2年半経ちますが、まだ読まれているようで、ブログやTwitterで感想かいてくれる人が今でもチラホラいます。著者としては嬉しい限りです。取得先のサイトの構成が変わっていることも多く、そのままでは動かないサンプルも多くなっていますが、枯れたツールを使っているので取得自体は同じようにできるはずです。

既往研究 山地河川の本にもありますが、高橋先生や里深先生はスタッガードスキーム＋1次風上のようですね。 解析精度ももちろん大事ですが、流行りの？ロバストは重要だと感じてます。特にドライベッドが頻発するとおもいますので。 スタッガードスキームであれば、細田先生のスキームがよろしいかと思います。FDS型の粘性（２次元版）を入れるとドライベッドでも飛ばずに計算できると思います。 集中格子が良いという場合、Upwind Flux Schemeがいいかと思いますが、保存性がどうかなと感じています。網状流路での流れに関する変量の保存性がどのくらい重要かを理解していないので、なんとも言えませんが。 HLLCは微妙のような気がします。 1次元版でもドライベッドの処理をちょっと考えないといけない気がしてます。 個人的にはUpwind Flux Scheme押しですかね。シンプルで理解しやすく、コードもシンプ

Rubyで日本語PDFを読みましょう。ただし、Windows上で。 WindowsでのRuby開発環境の構築などについて、ここで改めて述べることはしません。詳細は各種書籍、ウェブサイトをご参照ください…といいつつ、『たのしいRuby 第5版』には記載されていない内容を含みますので、以下の書籍などなどをご参照ください。 パーフェクトRuby (PERFECT SERIES 6) Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 そう、日本語PDFを読み込むための準備にはDevelopment-Kitを使うのです。使わにゃならんのです、たぶん。 qiita.com こちらの記事にも記載がありました。 Development Kit さて、当のDevelopment Kit…についての説明は荷が重いので最小限にするとして、ある種のgemや、今回用いるような追加データを上手いこ

Web サイトをクロールしたいことが出てきたので、 Anemone で行うのが基本なのだろうと思い、少し調べていました。 すると Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: 佐々木拓郎,るびきち出版社/メーカー: SBクリエイティブ発売日: 2014/08/23メディア: 単行本この商品を含むブログ (10件) を見るが由来なのか、同じような、でも何だか気になる記述がたくさん出てきました。 元の本をちゃんと読んでないのですが、もしかするとこう書いてるのかな*1と思ったことを。 Anemone::Page#docはNokogiri::HTML::Documentオブジェクトだよ クロールしたあとの Anemone::Page オブジェクトをスクレイピングする時に、例えばこう書いてありました（引用順は先ほどググった際に出てきた順なので特に意味はありません）。

ふと気がついたのですが、ここ１〜２年で言語ごとのクローラー／スクレイピング本が出てきています。まとめがてらに感想と一緒に紹介してみます PythonによるWebスクレイピング 直近で出たスクレイピング本としては、PythonによるWebスクレイピングです。購入だけしてまだ読んでいないのですが、BeautifulSoupとScrapyを利用してスクレイピングしているようです。個人的にはrubyを使ってスクレイピングすることが多いのですが、BeautifulSoupはrubyのnokogiriより使いにくいと思っています。一方でrubyのクローラーフレームワークであるanemoneよりScrapyの方が優れた設計・特性をもっているかなぁと思っています。スクレイピングを始める前にrubyかpythonかの選択に悩んだのですが、BeautifulSoupよりnokogiriが良いやという理由でru

とっつきやすさ順に… 1.Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: 佐々木拓郎,るびきち出版社/メーカー: SBクリエイティブ発売日: 2014/08/22メディア: 単行本この商品を含むブログ (9件) を見る web api関連の学習本。 Anemoneでクローリングするものが多い。 2.JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログ (2件) を見る 機械学習とその学習のためのデータをどのように取得するかが学べる。 3.関数型オブジェクト指向AI プログラミン

最近はRubyによるクローラー開発技法を読み進めています。Kimonoがサービス停止したので、クローラー開発技法を身につけざるを得ないというのが正しいですね。 しかしこの本おもしろい。クローラー向けのライブラリAnemoneだけでなく、Capybaraといったテストで使われるツールこそクローラーとして活用できると、実際の実例を交えて解説しています。 開発している方は平気で読み進められると思いますが、Rubyだけ読んでると結構この本はキツいと思われますが、Rails Tutorialでモダンなテスト技法なんかをあらかた舐めておけばそれほど苦もなく読めます。私が保証します。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: 佐々木拓郎,るびきち出版社/メーカー: SBクリエイティブ発売日: 2014/08/22メディア: 単行本この商品を含むブログ (9件) を見る

Carta, a once-high-flying Silicon Valley startup that loudly backed away from one of its businesses earlier this year, is working on a secondary sale that would value the company at…

2016 - 02 - 15 『Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例』を読みました。 www.amazon.co.jp 前回に続いて Ruby 本の紹介です。インターネットのヘビーユーザーであれば、 クローラー があればいいのにな、と思うことがあると思います。定期的にチェックしているウェブ上の情報・データを自動収集させるためには、いろいろな方法があるはずですが、検索してもあまり有用な情報は出てきません。そういう意味でも本書は貴重なノウハウがまとまっていて、助かりますね。例えば、本書に出てくる クローラー の例として： Google の検索結果を取得する ブログへのクローリング Amazon のデータを取得する Twitter のデータ収集 Facebook へのクローリング 画像を収集する YouTube から動画を収集する iTunes Store の順位

最近の読書体験を振り返ると、9割近くがKindleでの読書です。読みたい本を買っておいて、好きな時に好きな本を読めるのは非常にありがたいです。一方で、そのスタイルだと積読が多くなります。読みたいリストは無数にあって積読が多いのであれば、買うタイミングは安くなった時に買っておくのがベストでしょう。Amazonでは、様々なKindleセールが行われます。しかし、その告知方法は充分ではないので、ユーザ自身がウォッチしておく必要があります。人間がやるのもバカバカしいので、クローラーにやってもらいましょう。 実現方法案 実現する為には、下記の前提・手順を踏みます。 1. いつか読みたい本は、ウィッシュリストに入れておく 2. ウィッシュリストは公開にしていて、認証なしでアクセス可能にしておく 3. クローラーはウィッシュリストを取得して、対象の商品一覧を取得する 4. 対象商品を1件づつ巡回して、K

Advent Calendar 2015の13日目の記事です。 今うちで動いているCrawlerは数年前に作られたもので、 仕組みとしてはAzureのService Fabricの上でAWSのLambdaを動かしているのと似たアーキテクチャになっている。 そろそろ生まれ変わりの頃かなと思う。 生まれ変わるにあたって、これからのアーキテクチャをどうしようかと悩むわけだけど、 そんな時には過去に遡っていくと次時代へのヒントが転がっていることがよくある。 特に、過去に敗北した素晴らしいアーキテクチャが今の技術であれば一般時にも実現可能になっていたりする。 昔話 昔々世界にはInktomiという会社と AltaVistaという会社があった。 Inktomiという会社はソフトウェア開発会社で、2002年に米Yahoo!に買収されている。 AltaVistaは検索エンジンの会社だったが、2003年にO

業務でもクローラを見ることが多いのですが、今回は新しくクローラ作るならとりあえずDjango+Celery使うだろうなぁということで、個人でサンプル書いて見つつ思ったところをつらつらと書いてみようと思います。 クローラの基本的な処理段階 クローラといっても人によって微妙に定義が違う状態で会話する事が多いのでとりあえず今回の対象は、 一定の条件に従ってWebページのリンクを収集する 各リンク内のページ内容をスクレイピングする スクレイピングした後の処理については、今回は対象外とする という前提でお話します。 今回のサンプルの構成 y-matsuwitter/django_sample_crawler 今回サンプル書く上での構成ですが、 Python 3.4.3 Django 1.9 Celery 3.1.19 lxml 3.5.0 requests 2.8.1 を利用し、下記を実施するものを

ソース 以下のようになると思います． スクレイピングしたいページのURLと出力ファイル名を指定すると，ページのタイトルなどがJSON形式で帰ってくる仕組みです． 関数scrapingが本体です． import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra

anemoneが人気だけど物足りない Rubyでクローラーと言えばanemoneですよね。ですがanemoneは2012年で更新がほぼ停止しています。 また大きめのサイトをクロールするとページ数が数万を超えて来ますし、プラスアルファで属性情報を収集する必要が出てくるので素のanemoneだと対応が難しくなります。 仕事で技術方向に特化したSEOをしている事もあってanemoneをクローラーとして使うのには物足りませんでした。具体的に物足りなかった機能を列挙します。 Charsetのサポート、自動判定 中断再開機能 一時停止後のオプション変更 複数サイトに対する平行稼働 許可するサブドメインの指定 除外するサブドメインの指定 UserAgentの切り替え（GoogleBotに成りすますなど） 除外するパラメータやパスの指定 多段リダイレクトの追跡 クロールするページ上限数の指定や切り替え 日

2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py

前回でchapter2まで終わりました。 今回からchapter3 と言いたいところなんですが、 実は クロ本が面白すぎて 最後まで一気に読んでしまいました。 (ちょっとだけ飛ばしたところもあります) 一気に読んだ時の私の脳内を解説すると chapter3 チャプター3は「収集したデータを分析する」というテーマか。 えーっと、内容は、 正規表現、RSS、Nokogiri、形態素解析か。 どの内容も今後役に立ちそうだけど、 実際に何か作るタイミングでもう一度読めばいいかなぁ。 ここはサラッと読んで次に行こう。 chapter4 チャプター4は「高度な利用方法」というテーマか。 難しそうだけど、ちょっとだけ読んでみよう・・・。 あ、データベースの利用方法か。 これは、絶対に必要な知識！ あとは、 デバッグ方法、 プロキシの使い方、 クローリングとスクレイピングの分離、 クローラの並列処理、 タ

前回はWebサイトをクロールするところまで書いたので、 次は取得したページを解析して、必要な情報を抜き出します。 必要な情報を抜き出すには、 nokogiriというライブラリを使えばいいみたいです。 使い方は簡単で、 nokogiriライブラリを使えるようにする require 'nokogiri' anemoneで取ってきたpageのHTMLデータをnokogiriオブジェクトに変換する doc = Nokogiri::HTML.parse(page.body.toutf8) doc.xpathメソッドで欲しい情報を抜き出す rank = item.xpath("//div[1]").text これだけです。 これならすぐできると思い、 さっそく本に書かれた内容を写して実行してみたんですが、 実行結果が本に載っているものと違う・・・。 どうやらamazonのWebサイトが少し変わったよう