Python で HTTPリクエストを並列化 « Stop Making Sense
はじめに 以前、GAE/Python で HTTPリクエストを並列化 で HTTPリクエストの同時発行を試みましたが、制限だらけの GAE で出来るなら、普通のPCでも出来るはず！ ということで、いくつかの方法を試してみました。 GAE では google.appengine.api.urlfetch パッケージの非同期リクエストを使って簡単に実現出来ましたが、残念ながら urlfetch は GAE 専用なので同じ手は使えません。 ネットで検索すると gevent + urllib の組み合わせで出来ることが分かりましたが、同じ事をやっても面白くないので別の方法を探し PycURL に辿り着きました。 ということで、PycURL を使った方法から紹介し、その後で gevent と multiprocessing を使った方法も紹介します。 その１：PycURL を使う (PycURL の
コマンドラインで動作するTwitterクライアントを30分くらいで作れるPythonはかっこいい - YAMAGUCHI::weblog
はじめに こんにちは、Python界のほぼ日手帳です。RSSリーダーを眺めてたら、なんかPythonを使ってTwitterのコマンドラインアプリを作る見たいのがはやってたみたいなのでまぜてまぜてー。というわけで書きました。 リンク tw.pyを少し拡張してみた - へにゃぺんて＠日々勉強のまとめ 良いもの。悪いもの。: コマンドラインで動作するOAuth対応TwitterクライアントをPythonで作ってみた とりあえず作り散らかした ymotongpoo/TwCmd · GitHub forkでもspoonでもなんでもしてください。 準備 Pythonライブラリ 最近はPyPIに便利パッケージが増えましたね、めでたいめでたい。Twitterでタイムライン取得や発言をするだけならtweepyが便利だぜ。OAuth 1.0対応。あとコマンドラインアプリケーションは標準モジュールのcmdモジュ
2010年最優秀プログラミング言語にPython もはやPerlは過去の言語 カナ速
TIOBEの2010年最優秀言語はPython ソフトウェアエンジニアリングにおける過去50年間を見ると、プログラミング言語は産業界が解決すべき問題のタイプによって（Fortran、COBOL）、あるいは、当時のテクノロジーリーダーによって移り変わるものだということがわかる。今年一番シェアが伸びたのはPythonだ。 Pythonはシステムスクリプト言語の「デファクト」スタンダードになってきています（この分野におけるPerlの後継者と言ってよいでしょう）。しかし最近は、さまざまなアプリケーション領域でも使われるようになりました。 特にDjangoフレームワークとの組み合わせは、 Web開発者のあいだで非常に人気があります。Pythonは学びやすいため、Pythonを使ってプログラミング言語を教える大学も増えてきています。 Java、C、C#、Rubyは2010年も安定していたが、PHP、V
Webアプリケーション用Pythonフレームワーク·Nagare project MOONGIFT
Nagare projectはGUI並みの画面と機能を備えたWebアプリケーションを開発するためのフレームワーク。 Nagare projectはPython製のオープンソース・ソフトウェア。いわゆるWebサイトとWebアプリケーションとは区別して考える必要がある。そうしないと本質を見失う。Webアプリケーションはローカルアプリケーションの代替えになり得る存在だ。 電卓やカウンターのデモ 今後、Webアプリケーションはどんどんニーズを増していくだろう。そんな時にはAjaxは当たり前で、開発方法も変わってくるかも知れない。そこで注目したいのはNagare project、Webアプリケーション開発用のフレームワークだ。 Nagare projectはHTMLを手打ちで入力しない。画面のオブジェクトを定義して描画すれば、画面上のアクションでPython側のメソッドが呼ばれる。イベント駆動型の開
転置インデックスを軽く勉強しつつ実装してみてる - Keep on moving
参考 以下を参考にしてpythonで書いてみた [を] 形態素解析と検索APIとTF-IDFでキーワード抽出 [を] 転置インデックスによる検索システムを作ってみよう！ とりあえずまだプロトタイプだからテストはなしです。レガシーコードですorz ソース #!/usr/bin/env python # -*- coding: utf-8 -*- import math index ={} num = 0 def inverted_index(no,str): """ 転置インデックス作成 例 {'banana': [(2, 3), (3, 3)]} key : 文字列 val : タプルのリスト (文章ID,文章IDの文字列での文字位置) """ str_arr =str.split(" ") for i in range(len(str_arr)): if not (str_arr[i]
実行速度(改) « python練習帳
先日、Python、PHP、JavaScriptの3つの言語で、プログラムの実行速度を比較したところ、JavaScript＞PHP＞Pythonの結果になったのですが、いくつか指摘をいただいたので追加検証してみました。先日の記事 ⇒ 実行速度 書き方が悪いからおそいんじゃ？ 普通にforループ使ったほうが速いよ。sum関数使うともっと速いよ。(by inamori@hatena) 長整数型になってるから遅いのでは？ (by atsuoishimoto@twitter) 1. 記述方法の改善 最初に言い訳させてもらいます。range関数で、1000万個も変数を確保するとボトルネックになるんじゃないかと思っていたので、whileを使って記述してました。 whileループ カッコ悪いのであまり掲載したくは無いのですが、元の遅いソースコードを添付しておきます。 >>> def count(n):
Python製テンプレートエンジンあれこれとJinja2 - YAMAGUCHI::weblog
はじめに こんにちは、Python界のタオパイパイです。いろいろなコミュニティで行われているアドベントカレンダーですが、今年初めて参加してみました。 Python Web フレームワーク アドベントカレンダー2010 : ATND 今年はPython系では「Python Web フレームワーク アドベントカレンダー2010」と銘打ってWebフレームワーク系の話をするようなのですが、自分はそもそもWebフレームワークをそんなに知らない。困った！というわけでWebアプリケーションフレームワークには必ずあるテンプレートエンジンについて調べました。 どんなテンプレートエンジンがあるのか そういえば俺もよく知らんなと思ってとりあえずいろんなエントリから調べてみましたよ。全部挙げたらきりがないので、とりあえずGoogleのヒットが多いものを挙げてみました。普通にフレームワーク名になってしまっているもの
Google AppEngineの雑テクニックを7個（Python歴2ヶ月目）: uessay
Google AppEngineで変な物を作っている。Gitで変更点にコメントを残しながら書いているが、機能に関係しない類のノウハウは埋もれがちだ。そんなわけで、ちょこまかとしたものを、こちらに転記する。 タイトルのとおり、Python歴2ヶ月なので、あまり期待しないように。 1.小さいアプリなら、テンプレートは１つで十分 Google AppEngineではwebappを使って、PHPにおけるSmartyのようなレンダリングをすることができる。http://code.google.com/intl/ja/appengine/docs/python/gettingstarted/templates.html 最初のうちは、メイン画面用のテンプレートと、編集画面用のテンプレートを分けて作ってたが、共通する箇所の変更を全体に反映させるのが面倒なので、テンプレートはひとつにまとめ、使いたい時に使
ソケットプログラミング HOWTO — Python v2.6.2 documentation
概要 ソケットはそこかしこで使われているが、最大級に誤解されている技術でもある。 この文書はソケットの全体像を俯瞰しており、チュートリアルとしてはあまり役に立たない。 実際に動くモノを完成させるには、他にもやらなければいけないことがあるからだ。 この文書はソケットの微妙なところ (たくさんある) まではカバーしていないが、 恥ずかしくない使い方ができるようになる程度の情報は得られるはずだ。 ソケット¶ ソケットはそこかしこで使われているが、最大級に誤解されている技術でもある。 この文書はソケットの全体像を俯瞰しており、チュートリアルとしてはあまり役に立たない。 実際に動くモノを完成させるには、他にもやらなければいけないことがあるからだ。 この文書はソケットの微妙なところ (たくさんある) まではカバーしていないが、 恥ずかしくない使い方ができるようになる程度の情報は得られるはずだ。 INE
関数型プログラミング HOWTO — Python v2.6.2 documentation
(これは下書きです。原文に関するコメント/間違い報告/提案は英語で amk@amk.ca まで。) この文書では、関数型スタイルでプログラムを実装するのにピッタリな Python の機能を見てまわることにしましょう。まず関数型プログラミングという概念を 紹介したあと、 iterator や generator のような言語機能、 および itertools や functools といった関連するライブラリ モジュールを見ることにします。 はじめに¶ この章は関数型プログラミングの基本概念を説明します; Python の言語機能についてだけ知りたい人は、次の章まで飛ばしてください。 プログラミング言語とは問題を分解するものですが、 各言語がサポートする分解方法にはいくつかの種類があります: ほとんどのプログラミング言語は 手続き型 です: プログラムは、 入力に対して行うべきことをコンピュ
sourceforge.jp
We’re getting things ready Loading your experience… This won’t take long.
web2pyを使おう！ - Doge log
おはようございます！小倉智昭です！ ちんこうｐ！ちんこうｐ！ いやあid:moriyoshiがパイプカットするとかしないとかで盛り上がってる中恐縮なんですが今回は @aodag先生から、アドベントカレンダーが回ってきたのでその話をしたいと思います。 web2py webフレームワークということなので今回はweb2pyを紹介したいと思います。 正直書くことがなくて困ってたので「ドキッ！漢字だらけのwebサーバ、eurasia」の話を書こうかと 思ったですがやめました。 漢字読めないし。 で話を戻します。 よくpython初心者に使うwebフレームワークなら何がいいですけねー？みたいな話がありますが、 もちのろん答えは決まっています。pyramidじゃなくweb2pyです。 djangoなんて難しいので使ってられません。 web2pyはシンプルにwebアプリケーションを書けるフレームワークです
形態素解析器IgoのPython版作った
いろんなメモです。おもにプログラミング関係。 a memorandum. most of all contents are related to programming. Java(とCL)で書かれた形態素解析器であるIgoをPythonにほぼそのまま移植しました。 Java版で作った辞書がそのまま使えるようにしたので、辞書を作る部分は(まだ)移植してません。 mmapしてるのでGAEでは動きません。すぐ取りかかる予定です。 またGAE版の辞書はBigEndianなのでそこらへんも対応する予定です。 https://code.launchpad.net/~hideaki-t/+junk/igo-pyに置きました。 簡単なテストしかしてません。問題があったら教えてください！ 簡単なサンプル # coding: utf-8 import igo.Tagger t = igo.Tagger.Ta
Pythonのプログラマを志したおいらが買ってよかった5冊の本 - あったらしくるえるはてなくしょん
10冊ねぇじゃねぇか!! この犬やろう!! と、まあ、プログラマが読むべき本とかで、なんかいろいろ吹き上がってて大騒ぎみたいなのですが、私は今更と言えば今更ですが、Python がいくつかの特にLL系のプログラミング言語の中で一番好きで、PyのPyのPyって感じで過ごせたらいいなと思って、それじゃ志村けんだけど、まあその本を買ったり、写経したりしてます。ぱいぱい。 いずれも今更の本といえばそうだけど、Python の本って、ちょっと殺風景気味で厚くて長い本が多いけど、コード多めだし、良訳や良書が多いので、ありがたいです。もちろん、この本もおすすめだ!! この犬野郎とかあったら教えてください。お願いします。 他の言語に触れたことがあるなら、クックブックがまずおすすめ。 Python クックブック 第2版 作者: Alex Martelli,Anna Martelli Ravenscroft,
WindowsでMeCab Pythonを使う - 人工知能に関する断創録
日本語の文章を単語に分割するには形態素解析を使います。日本語の形態素解析には、ChaSen、MeCab、Yahoo!形態素解析などがあります。ナイーブベイズを用いたブログ記事の自動分類（2010/7/3）でMeCabをPythonから使う方法を簡単にまとめましたが、MeCabはよく使うので再度まとめ直して独立したエントリにしました。Yahoo!形態素解析の使い方は、Yahoo!形態素解析API（2009/4/15）で書きました。 Windowsへの導入方法 MeCabは高性能な形態素解析モジュールでPython、 Ruby、Perl、Javaなどさまざまな言語から使えます。Mac OS XとLinuxでは簡単にコンパイルしてインストールができるのですが、WindowsではMinGWやVisual Studioのインストール、コードの修正が必要でかなり面倒くさい。そこで、Pythonモジュー
第5回 multiprocessingモジュールによるプロセス間通信 | gihyo.jp
multiprocessingモジュール multiprocessingモジュールは、Python2系列では2.6以降、3系列では3.0以降に標準となったモジュールです。このモジュールはthreadingモジュールに似たAPIでプロセス間通信などの機能を提供します。このモジュールにより、GILの問題を回避することができ、複数のCPUやCPUコアの性能を生かすことができます。また、このモジュールはローカルのみならず、リモートでのプロセス間通信も行うことが可能で、簡単に分散処理などを実装することができます。 まず、GIL（Global Interpreter Lock）とはPythonのインタプリタ上で一度に1つのスレッドだけが動作するよう保証するためのロックです。このロックによって、同時に同じメモリにアクセスするスレッドが存在しないことを保証します。 しかしながら、このロックによって、一度に
WSGIServerを3行でマルチスレッド化する : DSAS開発者の部屋
WSGIとは PythonでWebアプリを作るときに必ず出てくる単語にWSGIがあります。 WSGIとは、Web Server Gateway Interface の略で、WebサーバーとPython製Webアプリを つなげる標準インタフェースです。 WSGIの上で動くようにアプリケーションを作ると、そのアプリケーションは修正無しに Apache+mod_wsgi, Apache+mod_python, fastcgi, scgi, cgi, 等の環境で動かせるように なります。 他にもミドルウェアという考え方があります。例えばOpenID認証機能をWebフレームワークの プラグインとして開発した場合では他のWebフレームワークでは利用できないのですが、 WSGIミドルウェアとして開発すればWebフレームワークを問わずに利用できるようになります。 標準ライブラリのwsgirefモジュール
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社アンタス - 次の時代のマーケティングテクノロジーを
Good night, Posterous