Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい
TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ
Welcome to Read the Docs — PythonJS latest documentation
Welcome to Read the Docs¶ This is an autogenerated index file. Please create a /home/docs/checkouts/readthedocs.org/user_builds/pythonjs/checkouts/latest/doc/index.rst or /home/docs/checkouts/readthedocs.org/user_builds/pythonjs/checkouts/latest/doc/README.rst file with your own content. If you want to use another markup, choose a different builder in your settings.
自然言語処理にはやっぱりPythonがいちばん - nokunoの日記
Quoraで「自然言語処理に適したプログラミング言語はどれか？」という質問をしたところ，やっぱりPythonが一番人気のようです．What programming language is suitable for natural language processing? - Quora理由として以下が挙げられていますNLTKがあるから正規表現ライブラリ（re）が強力だからnumpyとscipyがあるから スクレイピングにBeautifulSoupやScrape.pyが使えるから Django / Pylons / TornadoのようなWebフレームワークがあるから また，機械学習のライブラリを言語別にまとめた質問もありました．こちらもJava, Python, Rが多いですね．Which programming language has the best repository of ma
Pythonのメタプログラミング (メタクラス) を理解したい人のための短いコード片と禅問答 | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー Pythonのメタプログラミング手法の一つ「メタクラス」は，初心者にとっては「なんか強そう/経験値たくさんもらえそう」なアイテムの最右翼だと思う。反面「どうすればいいか/なにができるか」ということがなかなか理解しづらい。 英語のブログを見ていたら，メタクラスの理解に役立ちそうなちょうどよいサンプルを見つけたので，紹介がてら独自の解説を付け加えたいと思います。 メタクラスを簡単に説明すると，「本来コードを書かなければ実現できないような処理を黒魔術的な処理でなんとかしちゃう」ためのテクニックです。コード量を(時には劇的に)減らすことができたり，すっきりした見通しの良いクラス設計を実現できま
Python初心者によるPythonのいいところ、はまりどころのまとめ - Webtech Walker
Python勉強し始めて一ヶ月くらいたったんで一度復習を兼ねてまとめてみようと思います。僕が今までPHPとかPerlとかJavaScriptを使っていて、Pythonはこうやるのかーとか、これは便利だなーと思ったところ、開発していてはまったところなどピックアップしてみました。 初めてのPythonを読んで初心者向け勉強会に参加した程度の知識です。とりあえず初めてのPythonがかなりいいのでこれ読むだけで大体基礎は習得できた気がします。基本的な文法の説明だけでなく、大事なことは何回も繰り返し書いてあったり、Pythonの思想などにも触れているのでなぜこういう実装になっているかということも理解できます。これオススメ。 尚、このエントリーではPythonのバージョンは2.5をベースにしてます（主にGoogleAppEngineで使ってるので）。間違えなどあったらツッコミお待ちしてます。 文法、
Pythonドキュメントの日本語訳のPDFがすごい - 偏った言語信者の垂れ流し
先日公開されたPythonドキュメントの日本語訳のPDFがすごい。なにがすごいって、ページ数が合わせて3000ページぐらいあるところが。 ダウンロードファイル一覧 - Python Japanese Environment - OSDN いつもお世話になってます。ドキュメントの著者、翻訳者の方々に感謝。 追記 このPDFはSphinxというドキュメンテーションシステムを使って出力されてます。 オリジナルはreStructuredTextという形式のテキストファイルです。 Overview — Sphinx 1.4.3 documentation Sphinx-Users.jp — Python製ドキュメンテーションビルダー、Sphinxの日本ユーザ会 Google Project Hosting
Pythonが最高である3つの理由 (1/3)
Pythonを使ったプログラミングについて、今回から解説します。PerlやRubyと比べると、Pythonは日本ではまだマイナーな印象がありますが、「Google三大言語」（C++、Java、Pythonのこと）のひとつでもあり、Facebookをはじめとしたメジャーなサイトでの事例が急速に増えていることから、日本でも今後普及する可能性が高いです。私が社長をしているゼロスタートコミュニケーションズという会社では、設立当時（4年ほど前）から自社製品にはPythonを使っており、ここ半年間、周囲でPythonを使用しているケースが増えているのは嬉しい限りです。 Pythonに限らず、プログラミング言語が日本で普及するかどうかの鍵を握っているのは、（幸か不幸か）日本語情報の多寡であると思います。Rubyの事情は正直よくわかりませんが、たとえばPerlがこれだけ日本でメジャーになったのは、Perl
PythonのWebフレームワーク使うなら知っておきたいデコレータ - 神様なんて信じない僕らのために
最近「ｵﾜﾀ＼(^o^)／」で有名なDjangoしか触ってないダメ人間です。 こんにちは。 Djangoとかどうでもいいがな、 Webフレームワークとかめんどくさいがな、 という最近なのでDつながりでDecoratorの話をします。 ナウでヤングなPythonistaのホットな話題はGCの参照カウンタ、 ではなくてFlaskとかかもしれないですが、 @app.route("/") def hello(): return "Hello World!" こいつも多分に漏れずDecoratorを使います。 Djangoでも、 @require_GET とか @require_POST とか使ったり見たことがあるんじゃないかと思います。 で、意外と魔法っぽいデコレータですが、 これっていったいどうなってんの？ って事を知らない人が割といたりします。 「とりあえず指定しろって言われたから指定してます
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Python開発環境 | Go for it!
Pythonバージョン 2.5 or 2.6を使う。 3.xはまだ時期尚早というか、DjangoやGoogle App Engineが対応していないので事実上選択肢にならない （DjangoとGoogle App Engineが対応したら移行が加速すると思います）。 ちなみに、RedHat LinuxにはPython 2.4がプリインストールされていますが、 SQLiteが動かないなど開発作業を行うにあたってはちょっと厳しい。 ソースコンパイル 、 EPEL からyumで拾う、aptitude install python2.5するなどなど、お好きな方法でインストールしてください。 MacOSXならMacPortsが便利です。 パッケージ管理 とりあえずsetuptoolsとpip入れましょう。 setuptools pip setuptools入れ方: wget http://peak.
Online Python Tutor | gihyo.jp
最近はコードをWebブラウザ上で実行できる環境がいろいろと出てきています。最も有名なのはcodepadで十数種類のプログラミング言語に対応しています。また「Try Ruby」や「Try Haskell」のように、主要言語にはそれぞれ「Try 〇〇」という対話形式のREPL[1]環境をブラウザで実現するサイトがあります。最近では「jsdo.it」のようにコードをただ実行できるだけでなく、共有機能をつけサービス化したものも登場してきました。 そんな中、ユニークな機能を持つコード実行環境サービスが、今回紹介する「Online Python Tutor」です（図1）。その名のとおりPythonコードをブラウザ上で実行できるのですが、ただ実行結果を見るだけでなく、まるでデバッガを使っているかのごとく、ステップ実行を行い現在どの関数を処理しているのかや変数の中身を閲覧することができます。リストや辞
コードのリファクタリングのお供に·Clone Digger MOONGIFT
Clone DiggerはPython製のオープンソース・ソフトウェア。プログラミングコードは開発が進むにつれて徐々に汚くなっていく。これは部屋が汚れるようなもので致し方ないだろう。大事なのは定期的に掃除をすることだ。プログラミングコードで言えばリファクタリングがこれにあたる。 レポート リファクタリングを適切に行えば重複するコードが減り、可読性が良くなる。同じような関数があれば統合することもできるだろう。リファクタリングを行う上でアイディアを出してくれるのがClone Diggerだ。 Clone DiggerはPythonとJavaに対応し、似通ったコードを抽出してくれる。プロジェクト全体が多数のファイルに渡っていても、Clone Diggerが全体を洗い出した上でリストアップする。結果はHTMLファイルで出力する。 重複している、または似ている箇所が分かる 改行や空白は無視されるよう
python入門チートシート - ナマアシタノム
内容 python初学者向けの頻出アイテムチートシートを作成してみました。 A4用紙に印刷してちょうどいいように必要事項をみっしりと敷き詰めています。pythonプログラミングのお供にどうぞ。 目次 if文 while文 for文 continue/break文 論理演算 算術演算 関数 リスト ディクショナリ map タプル モジュール クラス 例外 の基本的なことをできるだけたくさん盛り込みたかったので記述順番はぐちゃぐちゃしてしまった感じです。 記述ミスあったらごめんなさい。指摘あれば直します 最新版のDLは こちらからどうぞ(v1.1)。 (zip/約50kb/中身はpdf) 古いバージョン v1.1 コメントのid:t-tanakaさん指摘を修正 b:id:cu39さんのコメント「M+2VM+IPAG circleですね。」を見てフォントを「M+2VM+IPAG circle」に
第4回 Google App EngineでPythonプログラムを公開してみる
Google App Engineとは Google App Engineは，2008年4月7日に米国で開催されたCampfire Oneというイベントで発表されたWebアプリケーション開発環境です。 （編集注：この時点で発表されたプレビュー版は，限られた数の開発者に対して無料でサービスを提供していました。そして5月28日から本格的にサービスを開始し，料金体系を発表しました。基本的に従量課金制ですが，500Mバイトまでのストレージ利用または月間500万ページ・ビューまでのWebアプリケーションの利用に関しては，無料でサービスを提供するようです） 同種のサービスに，Amazon EC2があります。大きな違いとして，Amazonの場合は，あくまでLinuxサーバー・インフラの仮想環境を提供するものであり，開発者がアプリケーションの実行環境を用意しなければなりません。 これに対して，Google
Google App Engine + Pythonプログラミング環境としてPeggy - FutureInsight.info
Peggyというプログラミング用エディタをご存知でしょうか？ 岐阜＆山形セフレと出会い系の掲示板でママ活しよう 僕も@asheltwに教えてもらうまで知らなかったのですが、これがなかなかいいエディタです。 今までPythonのソースコードを書くときは、Eclipse + PyDevでやっていたのですが、これがいつまでたっても手になじみません。理由はいくつかあるのですが、ざっと上げてみると、 起動がそもそも遅い 変数の補完がかなり適当 シンタックスエラーの表示が明示的じゃない インクリメンタルサーチの仕方が未だにわからない など、まぁ、僕があまりEclipseの仕様が好きじゃないことが主な原因なのですが、最近Google App Engineで本格的にプログラミングを再開しており、このまま我慢してEclipseを使い続けるよりも自分の手になじむ開発環境を作ろうと思い、Pythonの開発環境を
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。 それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。 趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。 まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。 その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。 低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
Google App Engineで他サービスの認証を用いる·gaema MOONGIFT
gaemaはPython製/Google App Engine用のオープンソース・ソフトウェア。Google App EngineではGoogleの認証システムが容易に使えるようになっている。とは言えOpenIDが多数のサイトで対応している現在、認証としては他のサービスを使いたい場合も多い。 OpenIDでログインするサンプル 類似のサービスとしてはTwitterやFacebookが挙げられるだろう。この手のサービスならば通知も兼ね備えるので、さらに使い勝手が良い場合もありそうだ。そんな多彩な認証ニーズに応えるのがgaemaだ。 gaemaは認証統合ライブラリとも言うべきソフトウェアで、OpenID認証の他、OAuth、Googleアカウント、Facebook、FriendFeed、Twitterといったサービスに対応している。デモ版ではGoogleアカウントに対応したものが試せる。 ログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web Services in Ruby, Python and Java - Java Code Geeks
モダンなプログラミング言語の開発環境の構築方法まとめ - ネットサービス研究室
Good night, Posterous