mrep 0.1.1 をリリースしました
先日、三浦海岸で行われたYANS合宿内で作った、形態素列パターンマッチャーmrepをリリースしました。 昨日行われたDSIRNLPでこれについて発表しました。 mrepとは何か？ mrepは形態素列に対して、正則言語によるマッチングをかけるためのツールです。 もともとMIURAという名前にするつもりだったんですが、すでにpypiに登録されていたので急遽リネームしました。 先にgithubで0.1.0をリリースしてしまっていたので、何故か0.1.1になります・・。 日常的にテキストデータなり、テキストを含んだjsonデータなりに対して、条件にマッチする行を検索することが有ります。 例えばお客さんからもらったデータの中で、特定の単語を含むところだけ抽出したり。 これには grep コマンドがよく使われて、その後は典型的には sort | uniq -c で数を数えたりしますよね。 ところが g
Pants: A fast, scalable build system
Pants v1 is no longer maintained. See here for the Pants v2 documentation. Getting Started Installing Pants Setting Up Pants Tutorial Common Tasks Pants for Organizations Pants Basics Why Use Pants? Pants Concepts BUILD files Target Addresses Third-Party Dependencies Pants Options Invoking Pants Reporting Server IDE Support JVM Support JVM Projects with Pants JVM Dependency Management Scala Suppor
#isucon 2014予選の延長戦をやってみた - orangain flavor
予選の時間内では足りてないことばかりだったので、もう少し試行錯誤することにしました。 #isucon 2014の予選をほぼ一人で戦うハメになった話 - orangain flavor 目標は50000点、できれば60000点出したい。 予選終了時 Python実装 DBはRedisのみを使う Cookieがないときだけnginxで静的ファイルを返す Gunicornを使ったマルチプロセスモデル ワーカー数10、ワークロード10 最終提出スコア: 32710 細々とした改良 nginxの設定を追加。 redis-pyのパーサーをhiredisに置き換え。 テンプレートエンジンを使わないよう変更。 アプリを見なおして、RedisのRead/Write数を削減。 スコアはあまり上がらず 32912。 Gunicornのワーカーをmeinheldに置き換え 前回のエントリのコメントで id:met
Python で rsocket で通信が爆速でやばい. - Qiita
# server.py import socket import itertools HOST = '' PORT = 8081 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((HOST, PORT)) s.listen(1) conn, addr = s.accept() print 'Connected by', addr ret = [] while 1: #print "recv" data = conn.recv(1024*1024*1024) #print "len:%d", len(data) if not data: break #ret.append(data) conn.close() print "done" # client.py import socket from datetime im
Vector animations with Python - __del__( self )
I am a big fan of Dave Whyte’s vector animations, like this one: It was generated using a special animation language called Processing (here is Dave’s code). While it seems powerful, Processing it is not very elegant in my opinion ; this post shows how to do similar animations using two Python libraries, Gizeh (for the graphics) and MoviePy (for the animations). Gizeh and Moviepy Gizeh is a Python
wsgi, Bottle, Flask の速度差 - Qiita
ISUCON の季節ですね。 ISUCON では慣習的に各言語で代表的なマイクロフレームワークが使われるのですが、 Python では今のところ Flask がずっと使われています。 Flask は確かに、簡単なサンプルアプリを書くときの見た目はマイクロフレームワークになっています。 しかし、構造的には沢山のフック、シグナルがあったりしていて、重量級の設計になっています。 Flask 本体と Werkzeug を合わせると数万行のサイズです。単なる Hello World アプリでも、数十の関数呼び出しが裏で動いています。 Bottle も、 Flask と同じくマルチスレッド対応で、スレッドローカルを使ったコンテキストスタックがある、拡張機能もあるフレームワークですが、構造は Flask よりも大分質素です。 ソースコードも1ファイル3000行代で、その分フレームワークのオーバーヘッドも
Python + Hive on AWS EMR で貧者のログサマリ
1. Akira Chiku is an engineer who works on an engineering team. Their requirements include collecting between 10-20GB of data per day from various sources like Hadoop and Hive. 2. Data is collected from sources like Fluentd and parsed using Query String and stored in Hive. It is then processed and visualized. 3. Data can be stored in S3, processed using services like AWS EMR, and visualized in das
Deep Learning for Image Recognition in Python
The document discusses the application of deep learning for image recognition in Python, specifically focusing on distinguishing between images such as dogs and cats. It highlights the use of pre-trained networks and compares accuracy rates between traditional methods and deep learning, with the latter achieving over 95% accuracy. Additionally, it includes various tools and frameworks available in
リファクタリングツールあれこれ 〜 Sphinxと戯れたいあなたに送る入門編 〜
1. コーディングスタイルを知る PEP8 – Style Guide for Python Code PEP257 – Docstring Conventions Pythonコミュニティが推奨するスタイルが存在する PEP 8 -- Style Guide for Python Code via http://legacy.python.org/dev/peps/pep-0008/ インデントはスペース4 行の長さ最大79文字 import分の順序 命名スタイル etc .. PEP 257 -- Docstring Conventions via http://legacy.python.org/dev/peps/pep-0257/ ツールでチェック pep8 … pepe8のチェック pep257 … pep257のチェック pyflakes … 文法エラーなどをチェック flak
PyCon JP 2014 の1日目 keynote について - methaneのブログ
今年は娘ができたこともあり、 PyCon JP に発表だけじゃなく参加もしませんでした。 (娘と妻次第ですが、来年からはまた行きたいと思っています。) さて、 Twitter を眺めていると Python 3 に対するネガティブな反応がいきなり 流れ始めました。元になったのは id:fckey さんの PyCon JP 2014 1日目参加レポート #pyconjp という Blog 記事の、1日目 keynote の感想のようです。 PyCon JP 2014 の発表は YouTube で配信されていたので、そちらで keynote を 聞いた上で補足していきます。 ただし、英語のリスニングは苦手なので、 @kennethreitz さんの代弁や翻訳ではなく、 あくまでも個人的な意見です。 CH01 Opening~Keynote: Kenneth Reitz - YouTube 先に一
autopep8 はじめました - build error
gofmt を使い出して、今までいかに無駄にコーディングスタイルに気をつかってきたか思い知った。コーディングスタイルはプログラムに欠かせないけど、それに気をつかうのは人の仕事じゃなかった。PEP 8 に違反しないように注意してスペースバーを叩き、注意のもれたところは Flycheck に怒られて手で直していたなんて、なんて無駄な作業だったんだろう。 だから Python で書くときには autopep8（と py-autopep8.el）を使っていく。むしろあらゆる言語で自動整形ツールを使いたい。ツールの整形結果が好みに合わないこともあるけど、そういうのは些細な問題なんだと思う。そういうのを気にしてコーディングスタイルに気をつかいながらプログラミングするより、ツールに慣れてみようと思った。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WhiteDB
GitHub - unnonouno/mrep: Morpheme Regular Expression Printer
Balmain Women Jeans Big Discount With High Quality, Various Styles
Mixpanel Engineering
GitHub - adityarathod/xerox: Copy + Paste in Python.
Suhuslot88 Rekomendasi Game Slot Gacor RTP 95% Terpercaya Situs Suhuslot88
GitHub - Zulko/gizeh: Simple Vector Graphics for Python
マーケティングに活かせるPythonライブラリ PyConJP 2014
http://cramer.io/2014/05/20/mocking-requests-with-responses/
