Rubyでanemoneの物足りない部分を補完するクローラーを自作した時のTIPS - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/tkosuga@github

11users がブックマークコメント

コメント

3

記事へのコメント3件

注目コメント
新着コメント

aiza_wai 更新止まってしまったのと、Pythonも少し書くようになったので、いまはScrapyが選択肢。

2016/04/22 リンク

dkfj これ面白い。続きが読みたい！

クローラー

2015/12/04 リンク

toyama0919 anemone便利だと思います

2015/12/03 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

Rubyでanemoneの物足りない部分を補完するクローラーを自作した時のTIPS - Qiita

anemoneが人気だけど物足りない Rubyでクローラーと言えばanemoneですよね。ですがanemoneは2012年で更... anemoneが人気だけど物足りない Rubyでクローラーと言えばanemoneですよね。ですがanemoneは2012年で更新がほぼ停止しています。また大きめのサイトをクロールするとページ数が数万を超えて来ますし、プラスアルファで属性情報を収集する必要が出てくるので素のanemoneだと対応が難しくなります。仕事で技術方向に特化したSEOをしている事もあってanemoneをクローラーとして使うのには物足りませんでした。具体的に物足りなかった機能を列挙します。 Charsetのサポート、自動判定中断再開機能一時停止後のオプション変更複数サイトに対する平行稼働許可するサブドメインの指定除外するサブドメインの指定 UserAgentの切り替え（GoogleBotに成りすますなど）除外するパラメータやパスの指定多段リダイレクトの追跡クロールするページ上限数の指定や切り替え日

ブックマークしたユーザー

akishin9992017/07/21
DustOfHuman2017/05/17
unarist2016/11/26
eraiza25802016/09/21
m_m3zono2016/09/01
aiza_wai2016/04/22
ottonove2016/02/11
daiki_172015/12/04
dkfj2015/12/04
toyama09192015/12/03

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx