Hadoop Python: Writing An Hadoop MapReduce Program In Python - Michael G. Noll
In this tutorial, I will describe how to write a simple MapReduce program for Hadoop in the Python programming language. Motivation Even though the Hadoop framework is written in Java, programs for Hadoop need not to be coded in Java but can also be developed in other languages like Python or C++ (the latter since version 0.14.1). However, the documentation and the most prominent Python example o
ぐうたらの部屋
それぞれ入手して、インストールしてください。 設定 特別な設定をしなくても、動作します。 ただし、Windows環境下にてmatplotlibはIDLEやコンソール等の対話モードで使用すると、フリーズすることがあります。 この点に関しては、本家サイトのFAQに記載されています。 My matplotlib window is freezing 設定を変更することで、動作を改善することができます。 私の環境では、コンソールやIDLEの対話モードの状況は改善しませんでしたが、 PyCrustでは、フリーズすることがなくなりました。 なお、PyCrustは、wxPythonのデモコードに付属しているツールです。 設定内容は、以下のとおりです。 C:\Documents and Settings\yourname\.matplotlibにmatplotlibrcファイルをつくる matplotli
Life with Cygwin
沖ソフトウェア株式会社は、沖通信システム株式会社および株式会社沖インフォテックと平成22年10月1日をもって合併いたしました。新会社名は、株式会社OKIソフトウェアとなります。3社が行っております事業は新会社にて従来通り継続いたします。
Ivan: Closures in Python (part 1)
Closures in Python (part 1) Martin Fowler (obligitary Fowlbot namedrop) recently blogged about the power of closures in languages that support them. Here's a translation of Martin's Ruby code into Python. [Initial sentence and table structure copied from Joe Walnes] (not knowing how to get this to format correctly is my fault. I want to write a part 2, but that'll have to wait as I have other comm
西尾泰和のブログ: Pythonでタブ区切りデータを出力する方法
毎回実装するのがさほど苦にならないので、ついつい毎回実装してしまったりするタブ区切りデータの出力ですが、やっぱりたまに改行をつけ忘れたりstrで文字列にするのを忘れたりすることがあるので、まとめてみることにしました。 class TSVFile(file): def write(self, v): file.write(self, "\t".join(map(str, v)) + "\n") これは普通のfileを継承して、writeだけ独自のものに差し替えたクラスです。こうすると、以下のように普通のファイルを扱っている気分で、タブ区切りでの出力が出来ます。 fo = TSVFile("c:\\test.txt", "w") fo.write((1,2,3)) fo.write((4,5,6)) fo.close() ただし、タブ区切りじゃなくてカンマ区切りでもよくて、数字やアルファベット
sh1.2 pyblosxom : メモ化 (Memoize)
404 Blog Not Found:たらいを回すならHaskell はこべにっき# - Pythonでもわりとたらい回せそう？ このメモ化(Memoize)の話、そういえば去年の夏くらいにはやったなー。 当時はもひとつ理解できんかったけど。 taks = {} def tak (x, y, z): global taks if x <= y: return y else: if not taks.has_key((x,y,z)): taks[(x,y,z)] = tak(tak(x - 1, y, z), tak(y - 1, z, x), tak(z - 1, x, y)) return taks[(x,y,z) を見てやっとどういう概念か理解できた。まぁ実現方法は色々あるみたいだけど。 で、一言で言うと、: 同じ引数を渡した場合には必ず同じ返値を返す関数(純粋関数)の場合、毎回時間の
sh1.2 pyblosxom : 関数に可変引数を渡す
関数に可変引数を渡してやりたい場合、自分で関数を作るなら、多分このようにすると思います。 def dummy_func1(*arg): print arg lt1 = ["1","2","3","4","5"] dummy_func1(lt1) 2006.01.30追記 上記の場合、単にリスト引数が一つ渡せるだけで複数の引数を渡したことには ならないですね。上記コードを実行するとこのようになりました。 少なくともエラーにはなりませんが。 => (["1","2","3","4","5"],) 本当は自分で書くなら、可変引数じゃなくて単にリストで定義すると思います。 def dummy_func0(arg): print arg なので、dummy_func1のようにした場合にもやはりどのように複数の引数を 渡してやるかという話があるわけですね。 じゃあ、このような定義になっていた場合にどう
Ruby, Pythonで並列に逆引きを行う - bkブログ
Ruby, Pythonで並列に逆引きを行う ウェブサーバのログを解析するときなど、IPアドレスからホスト名を引く処理 (逆引き) を大量に行いたいときがあります。DNS への逆引きの問い合わせには場合によっては数秒待たされることがあるため、大量の IP アドレスをひとつづつ順に処理していくとかなり時間がかかります。 本記事では Ruby または Python でマルチスレッドで並列に逆引きを行う方法を紹介します。 Ruby の場合 Ruby で逆引きを行うには socket ライブラリを使う方法と、Resolv ライブラリを使う方法があります。マルチスレッドで並列に逆引きを行うには Resolv ライブラリを使う必要があります。 socket ライブラリを使った場合、 Socket.gethostbyaddr か Socket.getaddrinfo を使って逆引きを行います。これらは同
Blog on Plone ! — Blog on Plone ! : coreblog.org
初学者にとってプログラミングを難しくしている理由の一つは，プログラムが動いている様子を想像しづらい，という点です。プログラムに，変数，ループや条件分岐があるので，状態によって実行結果が変わります。同じプログラムでも，与えられる条件や内部状態によって違った動きをします。 熟練したプログラマであれば，条件による挙動の変化や内部状態の境界値を巧みに脳内で想像しながら，すいすいとプログラムを作ってゆくことができます。しかし，初心者にはそのようなことが難しい。そのため，とりあえずプログラムを書いてみて動かしてみるのですが，内部状態の遷移による挙動の変化をうまくイメージできないので，間違えるし，また間違いの原因がどこにあるか理解できなかったり，結果として正しく動くプログラムを作ることができないのです。 4月19日(水)に開催される勉強会にお呼ばれして，お話をすることになった。10年間多くの方に読んで頂
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
Unicode HOWTO
サービス終了のお知らせ