PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita
概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、という風にフレームワークが決めたインターフェースを満たすクラスとしてクローラーを実装する。 scrapyというコマンドが提供されてて、このコマンドを使って、作ったクローラーの一覧を見たり、クローラーを起動したりできる。 Selenium Seleniumは、ブラウザをプログラムから制御するためのツール（でいいのかな？）。Pythonも含めたいろんな言語で使える。 よくWebサイト/アプリの自動テス
ishideoのブックマーク / 2009年1月21日 - はてなブックマーク
パブリックドメイン版 cflow には GNU cflow の -T, --tree * Draw ASCII art treeというオプションがないので、インデントで表された呼び出し構造（オフサイドルール？）をツリー形式に変換するコマンドを書いてみた。 #!/usr/bin/python import sys def getlevel(s): return len(s) - len(s.lstrip()) def parselist(lines): if len(lines) == 0: return [[], 0] tree = [] i = 0 currentlevel = getlevel(lines[0]) while i < len(lines): level = getlevel(lines[i]) if level > currentlevel: # Indent incr
リンクチェッカー（Webのリンク切れ確認）
Perl のインストール Perl のサイトや各OSのパッケージ配布サイトからパッケージを入手してインストールする。 CPAN のインストール CPANモジュールの環境を設定後、cpan shell からインストール # perl -MCPAN -e shell cpan > install モジュール名 もしくは、モジュールのソースを入手して $ perl Makefile.PL $ make $ make test # make install Checkbot のインストール Checkbot のCPANモジュールを入手して展開後 $ perl Makefile.PL $ make # make install 文字化け対策 標準のままだとブラウザで表示した時に日本語が文字化けしてしまうので、Checkbot のソースをちょっと変更 $ cd /usr/local/scripts $
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Open tor browser with selenium
Python selenium error when trying to launch firefox
Selenium WebDriverのPythonバインディングでFireFox(via Homebrew-cask)を使用する - Qiita
