Building a fast modern dark web crawler :: Aloïs Micard
I have been passionated by web crawler for a long time. I have written several one in many languages such as C++, JavaScript (Node.JS), Python, … and I love the theory behind them. But first of all, what is a web crawler? What is a web crawler?⌗ A web crawler is a computer program that browse the internet to index existing pages, images, PDF, … and allow user to search them using a search engine.
Node.jsでスクレイピングするならば - プログラマでありたい
昔、Rubyでクローラー/Webスクレイピングの本を書きました。今でもちょくちょくとスクレイピングのコードを書いたりはするのですが、実行基盤についてはサーバの運用管理が面倒くさいのでAWS Lambdaを使うことが多いです。そうなると、Lambdaは基本的にはRubyが使えないので、言語はPythonかNode.jsを利用することになります。Pythonもいいけど、今後のことを考えるとNode.js力を高めておきたいと考えています。ということで、Node.js縛りでスクレイピングの仕方です。 スクレイピング対象のページの種類 私の中の勝手な定義ですが、スクレイピングには3種類あります。 1. 静的サイト／JavaScript不要なページに関するスクレイピング 2. 対話型サイト／JavaScript不要なページに関するスクレイピング 3. JavaScript前提のページに関するスクレイピ
Pythonで楽天ウェブサービスを使って書籍情報を取得する - 武器商人＠Pythonのブログ
サンプルコード ポイント jsonのデータをロードするのは意外と簡単！ 実行結果 お勧め書籍 楽天ウェブサービスを使って情報を取得してみた。 今回使ったのは、書籍の検索のapi。著者情報を渡して、その著者の書籍を取得するというもの。要求はhttpで投げて、レスポンスはjsonで受け取りました。jsonの情報って複雑・・・。 サンプルコード #!/usr/bin/python2.7 # -*- coding: utf-8 -*- import urllib import urllib2 import json def Rakuten_BooksAuthorSearch(author,hits,sort): developerId = 'DEV_ID' affiliateId = 'AFF_ID' uri = 'https://app.rakuten.co.jp/services/api/Bo
楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
