クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
『Rubyによるクローラー開発技法』の増刷決定しました - プログラマでありたい
少し遅くなりましたが、ご報告です。先月末（8/23）に発売した「Rubyによるクローラー開発技法」ですが、発売10日程で何と増刷決定しました！！ 発売前から、テーマがマニアック過ぎるとか、値段が高過ぎると、主に私の中で心配していましたが、想定外の好調さに驚いています。たくさんの方に買っていただき、本当にありがとうございます。Amazonの方でも売上げ好調で、「本 > コンピュータ・IT > プログラミング > Ruby」では、1週間1位を継続、1つ上の、「本 > コンピュータ・IT > プログラミング」でも、わりと１位を継続していて、「本 > コンピュータ・IT」でも、ランクインしています。 どういった層が買うのか 発売後、TwitterやGoogleでつぶさに観察しています。「Rubyによるクローラー開発技法」の購入者層は、Rubyやクローラーをバリバリやっているという人よりは、どちらも
本を書く前に準備したこと、執筆中にしていたこと - プログラマでありたい
「Rubyによるクローラー開発技法」は、2013年12月に話を頂き、2月くらいまで企画を検討し、2月〜7月の約5ヶ月間で執筆しました。役に立つかどうか解らないけど、本を書く前に準備したことと、執筆中にしたことを残していこうと思います。次回があれば、もう少し上手くできるようにしたいですね。 事前に準備したこと 執筆環境を構築した 執筆環境は、いの一番で用意しました。具体的には、下記の2つです。 GitHubの有料版アカウントを作成し、プライベートリポジトリを作った MarkDown記法を覚えて、MarkDownから各種フォーマットに変換できる環境を作った GitHubのプライベートリポジトリを作ったのは正解でした。これが無ければ、いろいろ事故も起こったと思います。反面、Markdownの環境はメインのMacにしか作らなかったのが失敗でした。意外に色々な端末で書くことになったので、CIツールも
Rubyによるクローラー開発技法の目次 - プログラマでありたい
るびきちさんとの共著である「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」が今週末（8/23,24）くらいから、本屋さんの店頭に並ぶようです。経緯や執筆スタイルなどは別途まとめたいと思いますが、ようやくここまで辿り着けたというところです。 AmazonとSBクリエイティブさんのページを見ても、8/21現在では詳細の目次が無いようです。手元にあったデータを貼り付けておきますので、参考にしていただければと思います。 Rubyによるクローラー開発技法 目次 Chapter 1 10分クローラーの作成 1-1 イントロダクション 2 1-1-1 クローラーとは 2 1-1-2 Rubyとは 2 1-2 クローラー 「GNU Wget」3 1-2-1 Wgetとは 3 1-2-2 インストール 4 1-2-3 Wget の簡単な使い方 7 1-2-4 クローラーとしての Wg
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
