Node.jsでスクレイピングするならば - プログラマでありたい
昔、Rubyでクローラー/Webスクレイピングの本を書きました。今でもちょくちょくとスクレイピングのコードを書いたりはするのですが、実行基盤についてはサーバの運用管理が面倒くさいのでAWS Lambdaを使うことが多いです。そうなると、Lambdaは基本的にはRubyが使えないので、言語はPythonかNode.jsを利用することになります。Pythonもいいけど、今後のことを考えるとNode.js力を高めておきたいと考えています。ということで、Node.js縛りでスクレイピングの仕方です。 スクレイピング対象のページの種類 私の中の勝手な定義ですが、スクレイピングには3種類あります。 1. 静的サイト／JavaScript不要なページに関するスクレイピング 2. 対話型サイト／JavaScript不要なページに関するスクレイピング 3. JavaScript前提のページに関するスクレイピ
プログラムいらず！vimで手動スクレイピング - Qiita
Webページからちょっとデータ抜き出したいときありますよね。 1回だけしか行わず、わざわざプログラム組むほどでもないならVimでやるのがおすすめです。 例：はてぶのページからリンクを取得する vimを開いて4コマンドでリンクを抜き出します。 しかもエディタ上なのでその後の加工や連続スクレイピングなどもスムーズに行えます。 # 最初の行以外はどのサイトでも共通的に使えるはず :e http://b.hatena.ne.jp/ctop/it :%s/></>\r</g | filetype indent on | setf xml | normal gg=G :%v/<a/d :%s/^.*href="\([^"]*\)"[^>]*.*$/\1/ # 完全URLにしたいなら :%s/^\//http:\/\/b.hatena.ne.jp\//
RubyでHTML解析が超余裕なんです - 初心者エンジニアが何か書く
昨日ラーメン屋に行ってから，ずっと下痢気味＆頭痛い状態だったけど，今は割りと腹痛いだけで済んでいる． なんかRubyでHTML解析しようぜっという話が出てきたから，今日はその実装をしてみました． RubyのNokogiriというライブラリを使うと本当に簡単．超余裕です． んで，解析する対象となるページはこれ「http://umie.jp/news/event/」．神戸のイベント一覧が表示されたページ． イベント取得して，旅行者に提示してみるとかを今後やるつもり．（イベント数が多くないことは考えない） っというわけで以下は手順． 手順 1.このブログを読む． http://morizyun.github.io/blog/ruby-nokogiri-scraping-tutorial/#7 これ以上わかりやすい記事があるか，というぐらいわかりやすい良記事． ぶっちゃけこれだけ読めばHTMLの解
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
