PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
)
次世代標準非同期I/Oフレームワーク asyncio (Tulip) - methaneのブログ
Python Advent Calendar 2013 の4日目です。 Python 3.4 で標準ライブラリに追加される asyncio を触ってみます。 なお、 Tulip とは asyncio のリファレンス実装のプロジェクト名です。 背景 Python はよく非同期 I/O プログラミングに使われます。 Twisted, Tornado, gevent, eventlet, pyuv などのフレームワークがあります。 これらのフレームワークの問題点として、ライブラリの再利用性の低さが挙げられます。 たとえば Twisted 用に書かれた XMPP ライブラリは、そのままでは Tornado で 利用することができません。 この問題の解決策として、良くイベントループの乗り入れが行われます。 GUIアプリケーションに組み込む場合などを考えて、多くのフレームワークが最初から イベントルー
計算機コンピュータにおけるFizzとBuzz(PyCon2013復(習|讐)編) - Line 1: Error: Invalid Blog('by Esehara' )
PyConでFizzBuzzについて話をしてきました。いろいろ考えた結果、強引な英語でやるということをやりました。笑ってくれた人が半分くらいいて、真面目に聴きたい人はいらいらした感じになったのは申し訳ないです。ちなみに、スライドはしたのところにあります。 Fizz and buzz of computer programs in python. ※ブックマークでのご指摘通り、19ページの部分でelifが抜けていたので、意図通り動かないことがわかりました。ありがとうございます。 で、今回のブログ記事に関しては、本当は話したかったけど話せなかったことについて補足説明をしたいと思います。 FizzBuzzという題材について そもそも、なぜFizzBuzzという題材を選んだのか、については以下の通り。 FizzBuzzには「反復」と「分岐」という二つのポイントがある 「反復」と「分岐」と一口にいっ
pythonモジュールmechanizeでWeb上の作業を自動化する | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー mechanizeはWeb上の操作を自動化してくれる便利なPythonのライブラリ。Pure Pythonなのでいろんなところで動くよ。PerlのWWW::Mechanizeにinspireされて作られた。RubyにもMechanizeという同種のライブラリがある。Perl偉い！ 「Web上の操作を自動化する」っていうのは，例えばどこかのサービスにログインしてあれこれするとか，そういったことをプログラマブルに行える，ということ。フォームの操作などもオブジェクトを使って実行できるのでとても手軽。Webアプリの開発などではテストに使われたりするんだけど，結局僕がなにをしたかったかというと，
Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 Pythonは日本ではあまり利用事例が多くありませんが、海外ではGoogleやDropboxなどで使われていることが知られ、人気のあるスクリプティング言語の1つです。Pycon APAC 2013の2日目の基調講演には、そのDropboxの3番目の社員であるRian Hunter氏が登壇、Dropboxの社内事例も交えてPythonの大規模開発について紹介しています。 基調講演の内容をダイジェストで紹介しましょう。 One Million Lines of Python このカンファレンスに呼んでいただけて大変光栄です。日本には初めて来ました。 僕が初
Chefに挫折したあなたへ。Fabricのすすめ
サーバ設定作業は面倒で間違いを犯しやすいため、Chef/Puppetなどのツールで自動化したいと考えている方は多いと思います。 私もそのような理由からChef(-solo)を習得しようと試行錯誤していました。 その結果、ある程度は動くようになったものの次のような問題があると思いました。 学習に時間がかかる 私は正直、今でもどのファイルに何を書くのかよく分かってないです。 幾分か簡単だと言われるchef-soloでも公式サイトのドキュメントだけではよく理解出来ませんでした。 また、バージョンによる差異なのか目的が異なるのか分かりませんが、ブログ記事を参考にしようとすると十人十色でどれが私に合った手順なのかわかりませんでした。 例え最終的に理解できたとしても、私やあなたが何日もかけて理解できないことはチームのメンバーも理解するのは難しいと思います。 対象サーバにインストールする必要がある Ch
簡単に手元でHTTPのファイルサーバ立てる方法 - かみぽわーる
.zshrcにstatic_httpdって関数つくってる。 dotfiles/.zshrc at master · kamipo/dotfiles · GitHub function static_httpd { if type plackup > /dev/null; then plackup -MPlack::App::Directory -e 'Plack::App::Directory->new(root => ".")->to_app' elif type ruby > /dev/null; then if ruby -v | grep -qm1 'ruby 2\.'; then ruby -run -e httpd -- --port=5000 . else ruby -rwebrick -e 'WEBrick::HTTPServer.new(:Port => 5000, :D
Chef-solo の代わりに fabric を使う - methaneのブログ
Fabric は ssh 経由でリモートをゴニョゴニョするツールなので、デプロイツールとして見られがちですが、 cuisine など冪等な操作をサポートするライブラリを組み合わせれば手軽な構成管理ツールになります。 chef-solo に比べてターゲットとなるマシンへのインストールが不要なので vagrant と EC2 の Amazon AMI で同じように home ディレクトリを構築するようなスクリプトを書くことも可能です。 また fabtools を使えば、簡単に vagrant を対象にすることができます。 インストール: $ pip install fabric fabtool cuisine fabfile.py を作ります (サンプル): 使い方: $ fab vagrant package_upgrade setup_devtools # 開発マシンにいつもインストールし
PyMunin @ GitHub by Ali Onur Uyar
Python Module for developing Munin Multigraph Monitoring Plugins Updates About Regular Munin Plugins employ one-plugin one-graph logic and require the execution of a script for data retrieval for each graph. Multigraph plugins permit the retrieval of data for multiple graphs in one execution run (one-plugin many-graphs), reducing the processing time and delay for the fetch cycle significantly. Mor
pyenv を導入してみた - blog.youhei.jp
pythonbrew が今後開発を停止するということで pyenv に移行してみたら、想像以上に Life Changing だったので久々にブログに書きます。 以下のような方に pyenv の導入はおすすめです。 rbenv のコマンド体系に慣れている 日常的に複数の python プロジェクトを横断する screen, tmux のような Terminal Multiplexer を使っていて息を吸うように新しい shell を起動する なぜおすすめかというと日常的に使っていた virtualenv の環境切り替えに使う workon コマンドが不要になったからなんですね。 これは pyenv の plugin である python-virtualenv のおかげです。 python-virtualenv ではこれまで virtualenv が担っていた役割を pyenv に移譲するこ
HTTPクライアントのhttpieを使ってみる - キモブロ
curlよりも直感的なhttpclientとのことで、早速これを試しに使ってみる。 https://github.com/jkbr/httpie インストール まずpipというpythonのパッケージ管理ツールが必要らしい。ということでpipを入れます sudo yum install python-pip sudo easy_install pip 次にhttpie本体を入れます sudo pip install httpie するとhttpコマンドがインストールされます。 使ってみる まずはとりあえずhttpie.orgのサイトに向かって使ってみます $ http httpie.org HTTP/1.1 302 Found Date: Fri, 20 Jul 2012 15:04:47 GMT Server: Apache X-Awesome: Thanks for trying HT
CLI フレームワークの Cliff がいい感じ - Memo
Python の CLI フレームワークに Cliff というのがある。 http://readthedocs.org/docs/cliff/en/latest/ ドキュメントを読んでコマンドラインなアプリケーションを作る場合に使えそうだったので、試してみたら Python2.6 では動かなかった。 ちょっとソースを読んでみた所簡単に直せたので、修正して Pull Request したら取り込んでくれた。 で、ドキュメントでは cliffdemo というアプリケーションがサンプルであるが、setup.py を実行して cliffdemo という実行ファイルを作成する。 cliffdemo から main.py を呼び出して実行する。 が、いちいち setup.py するの手間かかるし、作成しなくても直接 main.py を実行して動かないかなと思って色々試してみた。 GitHub - he
Dropbox のスケールとか
Python なサービス みんな大好き Dropbox のスケールとかメモ。以下のページ辺りからピックアップ。Parted? みたいなので、続編がでたら追記するかも。 Scaling lessons learned at Dropbox, part 1 (comment) Dropbox - Startup Lessons Learned (slideshare) Dropbox -Yコンビネーターが生んだスタートアップの軌跡と未来 - スケール関係ないですが、2006 年当時はオンラインストレージサービスがいっぱいあったようで、VC から資金調達したときのやり取りがおもしろい VC "クラウドストレージサービスなんて腐るほどある" Drew "なにか使ってるのありますか？" VC "NO" Drew "..." 完璧で、スケーラブルで、クロスプラットフォームなクラウドストレージ！当時、プ
「サーバーサイドの知識の無さに全俺が泣いた」レベルの入社当時の人に読ませたら少しはアドバイスになったであろうPythonとDjangoの前提知識メモ - 憧れ駆動開発
あの頃は青かった。教えるどころか無知をさらけ出すというのはこの事だった。死ぬほど恥ずかしいので消したかったけれど、この記事が一番アクセスがあって長い間いくらか読まれていたらしい。ためらった。ただ、かつての自分といくらかの人に参考になればうれしいけれど、そろそろ役目を終えたと信じたい。もし書きなおすのなら、もう少し違う言い方か伝え方にすると思う。 内容としては 当時の自分のスペック Pythonの言語で、当時の自分が知った方法(3項演算子とか) mercurial の基礎(init, commit, push, update, log) WAF(Django)の知識 URL(ディスパッチャ)をトリガーにして Viewで処理をかく ModelにDBの内容がある ORMでリレーションを簡単に記述できる テンプレートでViewで処理した内容を表示させる チラ裏に移動させた。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fabric Python Developers Festa 2013.03 #pyfes
http://kwatch.houkagoteatime.net/blog/2013/12/07/python-tips/
S3 と非同期サムネイル作成 コトハジメ
Fabricでサーバー管理をDRYにしよう