RubyMonkに引き続きPythonMonkも登場したようだ。 というわけでPythonMonkはブラウザ上でインタラクティブにPythonが学べるサイトだ。 指示のとおり命令を打ち込んで、その場で動いたかどうか確認できるため便利だろう。 ざっと見たところ、基本的な制御とリストあたりの操作までが範囲だが、初心者としてはとっつやすくていいのではなかろうか。 そろそろPython・・・という方はいかがですかね?
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー mechanizeはWeb上の操作を自動化してくれる便利なPythonのライブラリ。Pure Pythonなのでいろんなところで動くよ。PerlのWWW::Mechanizeにinspireされて作られた。RubyにもMechanizeという同種のライブラリがある。Perl偉い! 「Web上の操作を自動化する」っていうのは,例えばどこかのサービスにログインしてあれこれするとか,そういったことをプログラマブルに行える,ということ。フォームの操作などもオブジェクトを使って実行できるのでとても手軽。Webアプリの開発などではテストに使われたりするんだけど,結局僕がなにをしたかったかというと,
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな(ブラウザ画面のない)QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、3つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
Amazonで欲しい物がありました。 その商品は値段の乱高下激しく、ある時は6,000円台、またある時は4,000円台の事もある商品でした。 そこで僕は底値を探るべく、値段が下がった事を知らせてくれるシステムを作ろうと考えました。 という事で今回作ったシステムの概要を説明します。 ■ システム概要 1. 欲しい商品のhtmlを取得。 2. 価格の部分を抜き出す。 3. 過去と現在の価格を比較して処理 という仕様を組みました。 ■ 1.欲しい商品のhtmlを取得 まずは欲しい商品のhtmlを取得する際に使ったプログラムを示します。 プログラミングに使う言語はPythonを使いましたよ。 ちなみに欲しかった商品はコレ import urllib2 f = urllib2.urlopen('http://www.amazon.co.jp/%E3%82%A2%E3%83%87%E3%82%A3%E
rubyでスクレイピングしている記事が目に入ったので 突発的にpythonでスクレイピングする記事を書きたいと思います。 内容も同じことを目指したいと思います。 セットアップ~ブログ記入完了まで1時間30分しかありませんが始めます。 まずこれを書いているマシンがセットアップしたてのためまっさらな環境です まずpythonのインストールからはじめました。 http://www.python.org/download/ 3.0系が出て時間がたちましたが、 GAEなどをはじめとしていまだに2.0系でないと対応できないものも多く ここでは2.7.1を利用します。 Winではexeからインストールを行い、 環境変数PATHにインストールしたディレクトリを追加しました。 次にあると便利なeasy_installを入れておきます。 今回ただスクレイピングするだけなら必要ありませんが せっかくですし便利
CasperJSはheadless browserを操作してテストやスクレイピングを行うことができるユーティリティセットです。 もともとはWebKitのheadless browserたるPhantomJSしか利用できなかったのですが、このたびv1.1-beta1からGeckoのheadless browserであるSlimerJSでも利用できるようになりました。 これまで「headless browserってWebKitだけだし…」という謎の理由で回避していたCasperJSですが、Geckoにも対応したので試してみました。というログです。便利ね、コレ。 試した環境は以下のようになります。 Windows 7 x64 PhantomJS v1.9 SlimerJS v0.8 CasperJS 1.1-beta1 Install 1. PhantomJS PhantomJSのホームページか
SlimerJSはWindows/Mac OSX/Linux用のオープンソース・ソフトウェア(Mozilla Public License)です。 スクレイピングをしたり、テスト自動化を行う際に役立つのがPhantomJSですが、ブラウザはWebKitベースです。今回はGeckoベースのSlimerJSを紹介します。 実行した場合です。スクリプトを書いてSlimerJSに渡します。 Geckoベースのブラウザが立ち上がってテストが実行されます。 MOONGIFTもちゃんと表示されます。 ログも表示されます。 SlimerJSはスタンドアローン版でWindows/Mac OSX/Linux向けのバイナリも提供されています。XULRunnerを使って実行もできますので、使いやすい方を選択すれば良いでしょう。Geckoエンジンを使った自動処理に便利です。 MOONGIFTはこう見る 今はHTML
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く