スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
PythonでWeb::Scraperっぽいモジュール書いた - ヤルキデナイズドだった
ので置いておく(scrapy.tar.gz)。こんな感じで使える： from scrapy import scraper, process twitter = scraper( process('.vcard > .fn', name='TEXT'), process('.entry-content', {'entries[]': 'TEXT'}), result=('name', 'entries') ) username = 'uasi' r = twitter.scrape(url='http://twitter.com/%s' % username) print "%s's tweets" % r['name'] print for entry in r['entries']: print entry.strip() scrapy/__init__.py # -*- coding:
[Webサービス] Pythonプログラミングを2時間で学べる43個のチュートリアル動画。 | Last Day. jp
[Webサービス] Pythonプログラミングを2時間で学べる43個のチュートリアル動画。 最終更新日： 2012/03/19 Python はじめにプログラミングが楽しくなってきました。([Programming] 猫とRubyを始めました 基礎文法まとめ | Last Day. jp) Youtubeには沢山の動画がアップロードされているのは皆さんご存知だと思いますが、今の時代プログラミングもYoutubeで学べてしまうんです。 今日紹介するのはPythonというプログラミング言語のYoutubeチュートリアル動画です。 初心者向けです。動画は英語ですが、スクリーンキャストを見ながらなのでわかりやすいです。 Python チュートリアルPython Programming Tutorial – 1 – Installing Python Pythonをインストールする所から教えてくれま
バッチがわりに Python を使うときは、 os.system よりも subprocess.call を使おう - methaneのブログ
次の2つのスクリプトは同じに見える。 #!/usr/bin/env python import os for i in xrange(100): cmd = "tail -f /var/log/syslog | cat " os.system(cmd) #!/usr/bin/env python import subprocess for i in xrange(100): cmd = "tail -f /var/log/syslog | cat " subprocess.call(cmd, shell=True) タイプ数が少ない分前者のほうが良さそうに見える。 でも、このスクリプトを止めようとしてCtrl-Cを押すと、前者はそのまま次のループが実行されてしまうのに対して、後者は例外を出して止まってくれる。 シグナルによる終了とは別に、終了コードが0で無かった場合にも例外を出してくれる
よく使う／全然使わない標準モジュールはなんですか？ - ANS-prog
Pythonには多くの標準モジュールがありますが、皆さんがよく使う／全然使わない標準モジュールはなんですか？（Python 2.x系でお願いします） 私の場合は、Web上の情報を取得したり加工したりすることが多いのでよく使うのは下記です。 urllib urllib2 urlparse re os(os.path) datetime(datetime.datetime) multiprocessing json optparse csv 逆に全く使ったことの無い物も多く例えばこのへんは使ったことがありません。 colorsys nntplib xdrlib turtle しかし標準モジュールとしてあるからには誰かが使っているのだと思います。そこで皆さんがよく使うモジュールをなぜ使うのか、また皆さんが使わなそうなモジュールだけど仕事上よく使うということがあれば何に使っているのかを差し支えない
Python2のstrは死んだ - atsuoishimoto's diary
Python3の概略をざっと聞くと、Python3ではPython2のユニコード型が文字列型になり、文字列型はバイト文字列型になった、というイメージを持ってしまう人も多いだろう。Python2の s="spamspamspam" は、Python3の s=b"spamspamspam" と同じだ、と。 しかし、Python3に"バイト文字列"なんて存在しない。あるのは "bytes"だ。複数形を示す "s"に注意しよう。bytesはバイトのコンテナであり、バイトとは整数値だ。バイトは文字ですらないのだ。 そう、だからもう認めよう。Python2のstrは死んだ。Python3にはもう存在しない。strは消え去った。お亡くなりになった。お隠れになった。成仏した。主の御許に召された。バージョン履歴に残るゴミクズとなった。その生涯は幕を閉じ、アンコールに応じることもないのである。 strとbyt
Python入門者に贈る16の鍵 « python練習帳
このエントリーは、Python入門者と、Python入門予備軍の方を対象としています。 どうしてPythonやるの？ Pythonって覚えやすい言語なんです。といっても、それなりに使いこなせるようになるには、数十時間程度はかかるわけです。なんとなく・・で勉強するなら、やらないほうがましです。ちゃんと、自分なりの目標を設定してから勉強しましょう。私の目標は、2011年中に、Pythonで日本国内でそこそこ有名になることです。そこそこでいいです。pythonでぐぐって10番ぐらいに表示されれば満足です。それぐらい有名になったら、来年はPythonで仕事しつつ、他のこと勉強してると思います。 実は世界的にはPHPより人気がある Pythonは、Java、C、C++に次いで人気のある言語です。決してマイナー言語ではありません。 2011年2月のランキング GoogleAppEngineで使える ク
PythonでXMLを操作する - while( life != end ){ do( enjoy ); }
今の仕事で、RSS形式のURL一覧から指定文字列が見つかるリンクのみを抽出する処理を全てC++で１件ずつダウンロードして、本文から検索してっていうアプローチでとてもパフォーマンスが悪い。 だから、ダウンロードせずにサーバー側で抽出を行って、その結果だけを返すようにしようと考えている。 しかも高速にしなければならない。 そこで、PythonからXMLを扱うために色々調べてたら、二十代は模索のときブログさんの所に有益な情報があったので、メモさせて貰います。 PythonでXMLを扱う(1) PythonでXMLを扱う(2) PythonでXMLを扱う(3) PythonでXMLを扱う(4) PythonでXMLを扱う(5) PythonでXMLを扱う(6) PythonでXMLを扱う(7) PythonでXMLを扱う(8)
Shibu's Diary: Pythonが1位になるXデー
この3週間を見ても、PythonのPyPIの登録数の方が伸びが大きいですね。この3週間だけ見ても、Pythonの方は1日に10件ほど登録があります。最初の1週間のPythonの伸びはすさまじく、このペースでいくと、1年半で逆転しそうです。後半の区間はそれほど多くなく、このペースのままであれば4年ぐらいですね。archive.orgによれば、2007年末で3200、エキスパートPythonプログラミングの出版時(2010/5/28)前後でPyPIは10000を超えたので、実質的なペースはこれらの間ぐらいになりそうです。まぁ、線形ではなく、「9ヶ月で1.3倍」みたいな感じの伸びであれば、もっと早くに数がひっくりかえるかもしれませんが・・・ Pythonがさらに伸びる余地があるとすれば、PythonではPyPIからダウンロードしてインストールするという、cpanコマンドみたいなものはまだ標準じゃ
あなたの知らないPythonのひみつ - atsuoishimoto's diary
Pythonでは、ループ・try・withブロックは最大20までしかネストできない。 >>> def spam(): ... while 1: ... while 2: ... while 3: ... while 4: ... while 5: ... while 6: ... while 7: ... while 8: ... while 9: ... while 10: ... while 11: ... while 12: ... while 13: ... while 14: ... while 15: ... while 16: ... while 17: ... while 18: ... while 19: ... while 20: ... while 21: ... print "Deep!" ... SystemError: too many statically n
【無料】GAE使ってみない？【無広告】 « python練習帳
みなさん、Google App Engineって聞いたことありますか？ あっ、それしってる。Google Docsとかでしょ？って思った方。惜しいけど違います。 Google App Engineとは、Googleが運営している宇宙最強のデータセンタを、一定量まで無料で使える仕組みなのです。 ほんとに無料なの？ Google App Engineを使って無料でサイトを立ち上げる方法にもありますが、無料割り当て分(Free Quota)だけで、かなりの規模のサイトを運営できます。1日の通信量が1GBまでなら基本的にお金はかかりません。100kB/pvとして、1日1万PVまで無料です。個人運営のサイトなら、たいていは無料利用分で足りるのではないでしょうか。 プログラム必要なんでしょ？ Google App Engineを使って無料でサイトを立ち上げる方法の方法を使えば、プログラムを一切書かずに
シンプルで覚えやすい仕様，パワフルなPythonのWebアクセスモジュール request | TRIVIAL TECHNOLOGIES on CLOUD
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー Pythonには「後方互換性を大切にする」というモットーがあって，時にはそれが裏目に出ることがある。PythonでWebにリクエストを送る時の手法は，目的に応じて複数存在するが，これも後方互換性を守るがために起こっている現象といえる。当初はシンプルな機能を持つモジュールが利用されていて，その後より高度な機能を持つモジュールが追加されたのだが，後方互換性を守るために古いモジュールが残されているのだ。 たとえば，普通にhtppでGETリクエストを送って結果を取得するなら簡単で from urllib import urlopen src = urlopen('http://www.exam
PythonでWebアプリつくるのにDotCloudに登録しない手はない - YAMAGUCHI::weblog
はじめに サエンバイノー（こんにちは）、Python界のメンソレータムです。さて猫も杓子もクラウドの時代ですが、みなさんいかがお過ごしでしょうか。先日ふと「DotCloud」というサービスを見かけてベータ登録したので、ご紹介致します。 DotCloudってなに？ dotCloud - One home for all your apps DotCloudはいままでWebアプリケーションホスティングサービスの中で期待されていた領域に切り込もうとしてますよ。まず使える言語はPHP, Ruby, Python, Javaがいまのbetaの時点で使えて、さらにこれからリクエストがある言語にも対応しようとしてます。（ErlangとかSchemeとか）で、DBとかMQとかすでに有名所はいくつか使えて、なんでもリクエストがあれば対応するぜ！っていう勢い。またスケールに関してもスケールアップ、スケールアウ
pythonのCGIでHTTP POSTの生データを取得する - とある誰かの覚え書き
バイナリ形式で送られたHTTPの生データ(Body)を取得したい場合、cgiモジュールから取得できないようなので代わりの方法を調べてみました。 結論としては、sys.stdinの内容を読み込むことで生データにアクセスすることができました。 サンプルコード import sys file = open("../test.jpg","wb") file.write(sys.stdin.read()) file.close() sys.stdin.close() # とりあえず200のステータスコードを返す print "Content-Type: text/plain" print print "Hello!" これを/cgi-bin/test.pyなどにおくと、http://localhost:8000/cgi-bin/test.pyに送信したバイナリをファイルに落とすことができます。 仕組
File Upload | Web Python Tutorial
The python scripts in this page and in the next one will try to save an uploaded file in a directory named files in the directory where it is running. If the directory where the script is running is /path/to/dir then the /path/to/dir/files directory must exist. If it does not it will fail. To upload a file the HTML form must have the enctype attribute set to multipart/form-data. The input tag with
Python の統合開発環境PyScripterを入れてみた
Windows上で動くPython の統合開発環境のPyScripter が気になったので、自宅マシンのVista に入れてみました。バージョンは開発版の1.9.4です。remote debugging にも対応しています。これまで何回かWindows マシンでPythonの開発をしようと思ったことがありますが、不便すぎてまともに使った試しがありません。PyScripter で打開なるか！？ まずは事前準備として、Windows 環境に Python 2.5.1 をインストール。msi なので、次へ次へで簡単にインストールできます。環境変数のPATHに"C:\Python25"を追加します。で、いつものsetuptools をインストールです。C:\tmp にez_setup.py をダウンロードして、ダブルクリック。.py 拡張子が自動的にPython に結び付けられていて、setupt
PyScripter 1.9.9.3リリース
PyScripterはPython用の統合開発環境です。 Eclipseよりもずっと軽いのが魅力です。 PyScripter1.9.9.3がリリースされました。 pyscripter – PyScripter Development Site gettextが組み込まれたため、このバージョンより言語の選択ができるようになりました。 日本語化パッチも必要ありません。いい感じですね。 PyScripter1.9.9.3 – 偏った言語信者の垂れ流し とのことで、pyscripterのサイトを見てきました。 Debugging django applications with PyScripter Djangoアプリケーションをデバッグするために必要な設定方法が記されています。 どうやら、簡単な設定でDjangoアプリケーションのデバッグができそうです。 Using PyScripter wit
Ubuntu日本語フォーラム / PythonのIDEを教えてください
利用規約を守って投稿してください。また、よくある質問および投稿の手引きも参照してください。 メッセージの投稿にはアカウントが必要です。未登録の方は、ユーザ登録ページからアカウントを作成することができます。 私は昔、Basic,C,COBOLなどのプログラマーをやっていた50代の情報処理関係者です。 今は、仕事でのプログラミングはしていませんが、若い連中のソフトウェア開発を見守る立場です。 一年ほど前に、一からパソコンを勉強してみようと思い、組み立てパソコンから始めて、OSはVistaとLinux(Ubuntu)を導入して、Pythonの勉強を始めて、半年ほど立ちました。 パソコンを自作した当初、開発環境として、Eclipse+pydevの環境を作りましたが、あまり使っていません。 ○開発環境について PythonでGUIを作るならwxPythonがあることを知り、wxGladeで簡単にGU
Pythonドキュメントの日本語訳のPDFがすごい - 偏った言語信者の垂れ流し
先日公開されたPythonドキュメントの日本語訳のPDFがすごい。なにがすごいって、ページ数が合わせて3000ページぐらいあるところが。 ダウンロードファイル一覧 - Python Japanese Environment - OSDN いつもお世話になってます。ドキュメントの著者、翻訳者の方々に感謝。 追記 このPDFはSphinxというドキュメンテーションシステムを使って出力されてます。 オリジナルはreStructuredTextという形式のテキストファイルです。 Overview — Sphinx 1.4.3 documentation Sphinx-Users.jp — Python製ドキュメンテーションビルダー、Sphinxの日本ユーザ会 Google Project Hosting
CSV2HTMLTable « python練習帳
CSV(TSV)から、HTMLテーブルに変換するサービスを作りました。デザイン調整などまだできていないので、かっこ悪いのですが、動作自体は安定していると思います。お約束のソースコードは記事の末尾に添付してます。 サービスの使い方 一番上のテキストエリアに、CSV(カンマ区切りデータ)もしくは、TSV(タブ区切りデータ)を入力して変換ボタンをクリックしてください。HTMLテーブルのプレビューと、そのソースコードが表示されます。CSVなのか、TSVなのかは、自動判別されます。 スクリーンショット 以下の画像をクリックすると、サービスのURLにジャンプします。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
