Wikipediaによるテキストマイニング入門 - nokunoの日記発表してきました。第４回 データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#4) ?WEB祭り? : ATNDDatamining04 textminingView more presentations from nokuno.処理に使ったコードはこちらにあります。 nokuno - Project Hosting on Google Code
Python SyntaxError Programming を解析してみた - 宇宙行きたい
id:TAKESAKO の 「Python SyntaxError Programming」が凄いです． http://developer.cybozu.co.jp/takesako/2010/05/python-syntaxer.html #!/usr/bin/python _=-~-~(()>[]);_,__=_*_,_**_-~-~_;___='%'+`SyntaxError`[_];exec''+___*(__+~-~_)%(_*_^-~__,_*_-~__,~__*__/~_,~-~_*~_,_-__^~-~_*_,-~-~__,~-_*_,_/_^~_*~_,_-~-~_*_,_-~-~_*_,_|~-~_*~_,_+__+__/_,__,~_&_*_,__+_|_*_,_-__^~-~_*_,__^~-_*_,_|~-~_*~_,~-~_*~_,-~__,-~-~__) これ
「エキスパートPythonプログラミング」を翻訳しました : DSAS開発者の部屋
昨年の12月から翻訳していた、「エキスパートPythonプログラミング」(原題「Expert Python Programming」) という本が、5/31に発売になります。 エキスパートPythonプログラミング 著者：Tarek Ziade 販売元：アスキー・メディアワークス 発売日：2010-05-28 クチコミを見る まだAmazonには目次が載っていませんが、 http://dl.dropbox.com/u/284189/epp/index.html で翻訳中時点の目次を公開しています（出版されるものと若干違いがあります）。 キャッチコピーにもありますが、この本はPythonの入門書ではなく、 すでにある程度Pythonのプログラムを書ける人がこれから活躍していく上で必要な 知識を網羅的に習得するための本です。 コンテキストマネージャーやメタクラスなどの高度なイディオム、 パッケ
Pythonの定番モジュール集 — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー wiki.python.orgにはUsefulModules(Pythonの定番モジュール集)というリストがある。「開発者に有益な情報を提供するため」と注意書きがあるだけあって，これがなかなか網羅的で便利なので，翻訳しながらご紹介しましょう:-)。 リストを見ると，Web開発やテキスト処理はもちろん，数値解析，ビジュアライズ，ゲーム，GUIライブラリなどバリエーション豊かで，Pythonの全方位ぶりがよく見えてくる。他のカテゴリページへのポインタは，適宜リストをインラインに展開してあるものもあります。べたっと訳しちゃったので，間違いなどあるかも。コメントなどでご指摘いただけるとありがた
テストケースのベースクラス GAETestBase を作った - たごもりすメモ
前に書いた記事からはやくも半月たってしまったが、やっと出してもいいかなという状態になったので公開します。ファイルそのものはこちら。 GAETestBaseはPython標準のunittest.TestCase継承クラスとなってます。ユニットテストを書く際に、通常のTestCaseのかわりにGAETestBaseを継承してユニットテスト用のクラスを作り、あとは普通にテストコードが記述できます。 PythonおよびAppEngine SDK以外への依存がゼロで環境を選ばない、はず、なのが売りかな？ ところで出来上がったあと公開用の準備をやってたら、GAE/J側ではslim3がkotoriを組み込んだという話が。おおお。 できること CLIでのテスト実行 開発中のテスト実行が、Python標準のunittestと全く同じようにCLIから実行できます テストケース側で指定があれば各サービスはrem
Google App Engineを使ったTwitterBotの作り方 - 星屑日記
のっちフライデーのショックで一気に書き上げました（嘘）。Google App Engine（以下GAEと略）を用いて℃-uteのなっきぃをTwitterに召喚しました。なかさきBotです。 http://twitter.com/_nksk 今回はなかさきBotをどう作ったのかまとめて、チュートリアル的なものを書いてみました。かなり適当に作ってるので、ここ違うよ！とか、こう書けばいいんじゃない？みたいなコメント大歓迎です。GAEの入門編は以下のリンクを読んでください。ほとんどそこと同じことを書いてます。 http://code.google.com/intl/ja/appengine/docs/python/gettingstarted/ 開発環境はWindows XPで、言語はPythonで書いてます。初Pythonでしたけど難しくなかったですよ。準備として、まずPythonのダウンロード
「Boost.Python で C++ から Python の関数オブジェクトをコールする」より簡便な方法 - moriyoshiの日記
http://d.hatena.ne.jp/ousttrue/20100204/1265291359 たまたま目にしたので。 生の PyObject* を触らなくとも、 #include <boost/python.hpp> void call_python_func(boost::python::object func) { func(123); } BOOST_PYTHON_MODULE(calling_python_func) { boost::python::def("call_python_func", &call_python_func); } これだけで OK ですよ。 実行結果: Python 2.5.1 (r251:54863, Feb 6 2009, 19:02:12) [GCC 4.0.1 (Apple Inc. build 5465)] on darwin Type
Mac 以外でも Lingr の Notify が欲しい!! - 宇宙行きたい
と，言われたので，サクっと書いてみますた． 会話ログはこのへん…… http://lingr.com/room/java_ja/archives/2010/05/05#message-330797 だた，この API 使っていいのかわからないので， 使えなくなる可能性があるので自己責任でお願いします． この前書いた Twitter の Stream を ジェネレータで返すのが結構気に入ったので， 同じように作ってみました． で，Ubuntu 専用の Notify を書いてみました． っていうか，pynotify って Ubuntu だけだよね？？ こんな感じになりまする． で，ソース #!/usr/bin/env python # -*- coding: utf-8 -*- import sys,simplejson,urllib,urllib2,logging class Lingr(o
遺伝的アルゴリズムを使って数独を解く | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー Solving Sudoku with genetic algorithms(遺伝的アルゴリズムを使って数独を解く) というブログエントリを読んで，遺伝的アルゴリズムの入門記事として面白かったので紹介。 遺伝的アルゴリズムとは，生命の遺伝の仕組みを模した方法を使って解を探索する手法のこと。データを遺伝子で表現した個体を複数用意し，適応度によって個体を選択し，遺伝子に突然変異を起こしたりして解を探索してゆく。実装例としては，PostgreSQLが問い合わせを最適化するのに遺伝的アルゴリズムを使っている。上記エントリでは，この遺伝的アルゴリズムを使って数独の問題を解く手法を紹介している。
O'Reilly Japan - リバースエンジニアリング - Pythonによるバイナリ解析技法
Pythonはリバースエンジニアやソフトウェアテスターといったセキュリティのプロにも人気の言語です。本書では、ハッキングツールやテクニックの概念を解説したうえで、Pythonを使ったバイナリ解析技法について詳しく解説します。読者は、独自デバッガの構築、バグを発見するためのツールの作り方、オープンソースのライブラリを活用した処理の自動化、商用ソフトとオープンソースのセキュリティツールを連動させる方法などについて学ぶことができるでしょう。日本語版では、本書をより深く理解するための補足情報とリバーシングに役立つツールについての解説を加筆しました。/ART/OF/REVERSINGシリーズ第1弾。 関連ファイル サンプルコード（.zip） サンプルコード（.lzh） 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成
KayでシンプルにTaskQueueを使いこなす - When it’s ready.
AppEngineには、どんな処理も30秒以内に終わらせないとダメって言う通称30秒ルールという神の掟があってこれを破るとプロセスをKillれてしまいます。ほとんどの処理は30秒もかからないので問題ないですが、クロールとか形態素解析とかやりだすと30秒なんて一瞬です。特にネットワーク経由で複数のものを取りに行ったりすると2秒かかるのを10個もやれば、DataStoreのIOとかも含めると余裕で30秒を使いきってしまいます。 そこで、TaskQueueの登場です。適当につんどくと無料Versionだと1秒間あたり5個ずつ処理してくれます。先程の例だと、10個やるのに30秒だったのが1個処理するのに30秒使えるようになります。苦も無く10倍ゆっくりやれるわけです。 TaskQueueは、内部でキューに送れずに特定のURLに対するPOSTで積みます。引数はペイロードに入れてあげればイイらしい。今
Ustreamer with SocialStream がなんとなく動きかけてきた。 - When it’s ready.
昔はUstream＋IRCクライアントですんでたけどどうやらSocialStreamと一緒に見た方がUstは楽しめるのでSocialStreamをインプリしてみた。力量不足でUstreamAPIからSocialStreamのエンベデットを抜き取ることが出来ない。今のところマニュアルでSocialStreamのタグを指定している（ダサすぎる・・） http://ustview.appspot.com/multi ボケボケだけど、ようつべに使ってるところを上げてみた。大きさを変えるスライダーもjQueryUI化してみた。 リクエストが有れば @atusi まで教えてください。 日本語のUstのチャンネルを３分間隔でひたすら取得してるんだけどとうやってランキング化して表示させるか考え中 GoogleAppEngine上で、短縮URLを展開する方法 Twitter上のUstreamのアドレスは短縮
Twitter の Streaming API と yield の組み合わせがカッコイイ気がしたので自動 follow 書いてみた - 宇宙行きたい
http://d.hatena.ne.jp/sugyan/20100423/1271981903 を読んで，Streaming API と yield の組み合わせがカッコイイ気がしたので自動 follow 書いてみた. #!/usr/bin/env python # -*- coding: utf-8 -*- import sys,simplejson,urllib,urllib2,logging from pit import Pit class TwitterClone(object): def __init__(self, user, passwd,url): self.user = user self.passwd = passwd self.url = url self.follow_funcs = [] def createFriend(self,id): url = sel
Flaskを触ってみる 1 - Doge log
Flaskですがあんまり書かれてなさそうなので書いておきます。 Flaskはmitsuhiko先生が作ったmicroframeworkです。 Flaskが指すmicroは単純に小さいというわけではなく、他のライブラリをつなぎ、シンプルなAPIを 提供する小さなフレームワークのようなイメージです。 Flaskは werkzeug jinja2 に依存し、単体の機能はそれらに任せています. Flaskそれらをうまくつなぎ合わせ、シンプルなAPIをユーザに提供しています。 そのため、Flaskは1ファイルで構成されています。 （つなぎの部分なので小さい。APIのドキュメント込みで900行を切っている） 一応Flaskはmicroframeworkとしていますが、コアはwerkzeugです。 werkzeugは大規模サイトなどの実績もあり、大変便利なライブラリです。 Flask自体で提供されていな
FlaskならApp EngineのTwitter Botが15行で書ける — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 関連 : microneを使ったらApp EngineのTwitter botが14行で書けた Flaskというフレームワークを使って，Google App EngineでTwitterのBotを作ってみたら15行で書けてしまった(あと5行短くなるけど，PEP 8というPythonのスタイルガイドを破ることになるのでそこまで短くしない)。 まずはコードを見てもらいましょう。 #coding: utf-8 from random import choice from twython import core from flask import Flask app = Flask(__nam
Ustreamの現在の放送状況をTwitterのサーチ結果から取得しチャンネル名を特定する - When it’s ready.
Ustreamのサーチには、言語指定がない。どれくらい人気があるかは取れるが英語のチャンネルだらけ。 日本の方が大勢みているチャンネルをMultiUstreamViewer（http://ustview.appspot.com/multi）で利用するためにスクリプトを書いてみた。 GAE上ではたぶん動かないと思う。必要なのは、feedparserモジュール Twitterのサーチを使って、TL上のUst短縮URLをひっかけてAtomをもらってくる。 http://search.twitter.com/search.atom?lang=ja&q=ustre Twitterサーチは言語指定が出来るので日本語を指定しておく。 あとは、feedparserでdescription抽出して本文中のUst短縮URLをゲットする。urllib2でustre.amに問い合せると本家UstreamのFQDN
はじめてのKay Framework - present
はじめに Google App Engine(以下 GAE) アプリの開発スピードを上げるために、Kay Framework を導入することにしました。 ただ、導入に思いのほか時間がかかってしまったので、手順をメモしておきます。誰かの役に立てば幸いです。 今回試した環境は次の通り。 Windows7 Windows Vista Windows XP Windows のみ。Mac は持ってないので試せません。 Python 2.5 のインストール python.org から 2.5 系の最新版を入手して、インストールします。 Python 2.5.5 インストール先は、デフォルトの C:\Python25 のままでいいです。 環境変数の PATH に、Python2.5 のインストールフォルダを追加するのを忘れずに。 Google App Engine SDK for Python をインス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CodingBat Java
CodingBat Python
Erlang for Python programmers: Intro « Ruslan’s Blog