JAWS-UG アーキテクチャ支部でクローラー／Webスクレイピングの紹介をした - プログラマでありたい
先日のJAWS-UG アーキテクチャ支部 クラウドネイティブ分科会 CDP議論会 #7で、Lambdaを利用したクローラー／Webスクレイピングについての発表をしてきました。 発表の経緯 そもそも何故アーキテクチャ支部でクローラー／Webスクレイピングの話をしたのかです。クラウドネイティブ分科会では、ここ数回Lambdaの実践的な活用について議論しています。利用パターンとしては、システムの中核となる部分とそれ以外の部分があるよねという前提がでてきました。そして、それ以外の周辺分野から利用していくほうが実践導入は早そうなので、そこで使えるパターンを議論してきました。その中で、出てきたのが下記の5パターンです。 ・監視 ・通知 ・フィルター ・コンテンツ確認（Validation） ・チャットOps ※この辺りについてはアーキテクチャ支部のGitHubのIssueに記載されているので、興味ある
「Rubyによるクローラー開発技法」の電子書籍化＆増刷しました - プログラマでありたい
Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: 佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2015/03/02メディア: Kindle版この商品を含むブログを見る 昨年の8月末に出版された「Rubyによるクローラー開発技法」ですが、ついに電子書籍化されました。Kindleや楽天のkobo、紀伊國屋書店のKinoppyと主要なところは押さえている模様です。達人出版会さんからも出ないものですかねぇ。 今まで、何度も電子書籍化されないのと聞かれましたが、その度に解りませんと答えていました。電子書籍化や書名などは、ほぼ出版社側の意向によって決まるので著者としては、ほぼ決定権がない事項になります。そんな中で、ようやく電子書籍化して嬉しい限りです。願わくば、紙の本の発売日と同時に電子書籍化されているのが標準になってものですね。 また、紙の方の本も依然好調
複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマでありたい
最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic
JavaScriptにも対応出来るruby製のクローラー、Masqueを試してみる - プログラマでありたい
ちょっと前に試そうと思って、そのまま放置していたruby製のクローラー「Masque」を試してみました。ruby製のクローラーは、他にはAnemoneという優秀なものがあります。その上で何故というと、Anemoneにはない特性があるからです。 MasqueはCapybaraのDSLで記述出来るWebクローラーです。つまりCapybaraを動かす為のものなので、JavaScriptも解釈が出来るということです。また場合によっては、レスポンシブルデザインのサイトの確認も出来ます。一方で、Anemoneはあくまで個別個別のHTMLを取得する為のクローラーなので、JavaScriptを多用しているサイトでの情報取得に向きません。どちらが優れているという訳ではないので、用途に応じて使いこなせばよいでしょう。 Masqueのインストール $ gem install masque Fetching: h
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rubyで作るクローラー Ruby crawler
