ログイン - はてなパスワードを忘れた方はパスワードの再設定を行ってください。 初めての方ははてなID登録 (無料) してください。 うまくログインできない方はお問い合わせをご覧いただき、Cookieの設定をご確認ください。
Introducing: fastparquet | Anaconda
A compliant, flexible and speedy interface to Parquet format files for Python, fastparquet provides seamless translation between in-memory pandas DataFrames and on-disc storage. In this post, we will introduce the two functions that will most commonly be used within fastparquet, followed by a discussion of the current Big Data landscape, Python’s place within it and details of how fastparquet fill
Express vs Flask vs Go vs Sparkjava vs Sinatra
Update 5 (June 23, 2015): After posting the bad performance of Flask to their issue tracker User Methane posted a server config that boosts flask to 11751 requests/sec. https://github.com/mitsuhiko/flask/issues/1512#issuecomment-114454800 Update 4 (Jan 10, 2015): I added the sourcecode to a github repo: https://github.com/tschundeee/fibonacci-web-lang-benchmark Plus I added ruby’s sinatra which ra
プログラマーのための確率プログラミングとベイズ推定
プログラマーのための確率プログラミングとベイズ推定¶PythonとPyMCの使い方¶ベイズ推定(Bayesian method)は，確率推論のためのもっとも適切なアプローチであるにもかかわらず，書籍を読むとページ数も数式も多いので，あまり積極的に読もうとする読者は少ないのが現状である．典型的なベイズ推定の教科書では，最初の3章を使って確率の理論を説明し，それからベイズ推論とは何かを説明する．残念ながら多くのベイズモデルは解析的に解くことが困難であるため，読者が目にするのは簡単で人工的な例題ばかりになってしまう．そのため，ベイス推論と聞いても「だから何？」と思ってしまうのである．実際，著者の私がそう思っていたのだから． 最近の機械学習のコンテストで良い成績を収めることができたので，私はこのトピックを復習しようと思い立った． 私は数学には強い方である．しかしそれでも，例題や説明を読んで頭の中で
RubyとPythonの違いからガベージコレクタを理解する - ワザノバ | wazanova.jp
http://patshaughnessy.net/2013/10/24/visualizing-garbage-collection-in-ruby-and-python Pat Shaughnessyが、ブタペストで開催されたRUPY2013でのプレゼンの前半を自らのブログで紹介しています。 ガベージコレクタは、「ゴミを集める」という行為だけでなく、「新しいオブジェクトのためにメモリをあてがう。」「不要なオブジェクトを見つける」「不要なオブジェクトからメモリを取り戻す。」という、人間の心臓が血液を浄化するような働きをしている。 この簡単なコードサンプルを見ると、RubyとPythonの記述はよく似ているが、それぞれの言語の内部でのインプリの仕組みは違う。 1) Rubyのメモリ Rubyは、コードが実行される前に、数千のオブジェクトを先につくり、それをリンクされたfree listに置
A BILLION ROWS PER SECOND Metaprogramming Python for Big Data
Ville Tuulos Principal Engineer @ AdRoll ville.tuulos@adroll.com We faced the key technical challenge of modern Business Intelligence: How to query tens of billions of events interactively? Our solution, DeliRoll, is implemented in Python. Everyone knows that Python is SLOW. You can't handle big data with low latency in Python! Small Benchmark Data: 1.5 billion rows, 400 columns - 660GB. Smaller e
Metaprogramming Python for Big Data
For many companies, understanding what is going on in your business involves lots of data. But, how do you query 10s of billions of data points? How can a company begin to make sense of so much information? Ville Tuulos, Principle Engineer at AdRoll, a company producing tons of big data, demonstrates how AdRoll uses Python to squeeze every bit of performance out of a single high-end server. They m
pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm
scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て
SQLAlchemyのSQL表現言語で集計する — hirokiky's blog
SQLAlchemyのSQL表現言語で集計する 前回の Djangoで売上を集計/集約処理する に続いて、また集計します。 今回はDjango(のORM)ではなく SQLAlchemy を使います。バージョンは0.8。 ただしORMとしてではなく、SQLAlchemyのSQL表現言語(SQLExpression)のみ使います。 (私はSQLAlchemyのド素人で、ORMとして使ったことがないです。ただ、SQLAlchemyの SQL表現言語が素晴らしいなーと思ったので、試してみました) SQLExpressionのチュートリアルも参考にしてください: SQL表現言語チュートリアル (0.6.5 ドキュメント和訳) SQL Expression Language Tutorial (0.8 Documentation) 前回同様ユースケースにあわせて、集計をしてみます。 今回も: 売上合計
本を読む cronから使えるよう祝日判定コマンドを書いた
Linuxなどのcronで、平日だけ処理を実行したいことがあります。そのために、今日が祝日かどうかだけをチェックする小さなコマンドを作りました。 emasaka/jpholidayp · GitHub 引数なし、設定なし、出力なし。終了ステータスが0（真）なら休日、1なら平日です。 ここでの休日の定義は、土曜、日曜、Google Calendarの「日本の祝日」にある日、です。キャッシュしているので、実行するたびにHTTPアクセスが発生するわけではありません。キャッシュは~/.joholidaypに置かれます。 たとえば、平日だけsome-commandを実行する場合は、crontabで以下のようにコマンドを指定します。crontabの曜日指定と組み合わせると、より効率的だと思います。 jpholidayp || some-command
Hadoop Streaming で Locality-Sensitive Hashing を実装してみる | Atsushi TATSUMA Web Page
はじめに 研究室では、大規模データベースを対象とした検索インデックスについて研究しています。 分散処理によるインデックス作成を考えていて、今回 Hadoop Streaming でどこまでできるかを試すべく、 Locality-Sensitive Hashing (LSH) を実装してみました。 実装したアルゴリズムについて LSH にはいくつかのアルゴリズムのバリエーションがあります。 LSH の詳細は、ブログなり論文なり本なりありますので、ここでは省略しますが、 類似したデータに同じハッシュ値を与えることで、検索を高速化しようというアイディアです。 このハッシュ値には、0101 とかの短いバイナリ符号が好まれます。 今回は、いくつかある LSH のアルゴリズムのうち、 Charikar,M., Similarity estimation techniques from ro
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
Flask で LDAP でパスワード変更アプリを作る
この間、会社で少し大きくなって、利用するツールが少し増えつつありますので、 ユーザー管理を統一するために、LDAPサーバーを使うようになりました。 思ったより面倒だったんですが、LDAPを使うと色なサービスで同じ ユーザー名とパスワードが使えるので便利です。今のところ、 Redmine サーバー、 Wiki、社内ライブラリのリポジトリーサーバー などに使っています。 ただし、LDAPは同じユーザー名とパスワードが使えますが、ユーザーが 自分でパスワードを変更させるには何か用意しないといけません。 というわけで、Flask のLDAPパスワード変更アプリを作ってみた。 Flask は Python で当然ながら、WSGI に普通に対応していますので、 かなり便利です。 さって、どうやるのか。 Python プロジェクトなので、当然ながら、 virtualenv を使います。仮想環境に Fla
Markdown方式を使ったファイルベースのWikiエンジン·Markdoc MOONGIFT
MarkdocはPython製のオープンソース・ソフトウェア。本日は土曜日、言わずと知れたWikiサタデーだ。これまでに紹介した分でお腹いっぱいなんて言わないで欲しい。Wikiエンジンは日々進化し、新たな技術を取り込んでいる。新しい技術の実践の場としてもWikiは有効だ。 静的なHTMLを生成する オンラインでは様々な記法が存在する。Wikiエンジンでも多数の記法が採用されているが、その一つとして有名なのがMarkdownだ。見た目がテキストとしてみやすく、かつHTMLなどに変換することもできる。そんなMarkdown記法を取り入れたのがMarkdocだ。 MarkdocはMarkdownを使って記述したファイルを静的なHTMLに変換し、Webブラウザからアクセスできるようにする。Webブラウザ上からの編集はできないので注意して欲しい。静的なのでその特徴を生かした使い方があるだろう。 ター
初めてのコンピュータサイエンス
本書は、現実世界の問題を解決するプログラムを開発、利用する方法を説明しながら、コンピュータとプログラミングの基礎を解説します。例題のほとんどは科学技術分野のものですが、考え方はあらゆる分野に応用できます。また、プログラミングについての系統的、方法論的な考え方について、特に複雑な問題を単純な問題に分割し、それら単純な問題の解決方法を組み合わせて複雑なアプリケーションを作る手順を学びます。 本書を読み終えるころには、プロフェッショナルなプログラマが物事をどのようにとらえて発想するのか、つまりプロフェッショナルなプログラマのように考える方法を手に入れられるでしょう。 1章 イントロダクション 1.1 プログラムとプログラミング 1.2 若干の定義 1.3 インストールすべきもの 1.4 担当講師の方々へ 1.5 まとめ 2章 Python入門 2.1 全体の構図 2.2 式 2.2.1 int型
Shibu's Diary: エキスパートPythonプログラミングできました！
渋日記@shibu.jp 渋川よしきの日記です。ソフトウェア開発とか、ライフハックを中心に記事を書いていきます。 ゴールデンウィーク後が締め切りのところ、5/6の朝4時ごろまで(清水川さんはロスタイムまで)かかって、ぎりぎりまで修正したり、少しでもいい本にしようと４人でがんばって訳したエキスパートPythonプログラミングができあがりました！訳者およびレビューアの方々には先週末に届きました。正式に本に並ぶのは5/31の予定です。なお、アマゾンだと5/28になっているので、大型書店では今週にでも買えるのかも。 目次などを含む、日本語版の情報のポータル的サイトと、そのはてブ by 共訳者の清水川さん 「エキスパートPythonプログラミング」を翻訳しました(DSAS開発者の部屋) by 共訳者の稲田さん エキスパートPythonプログラミングのサンプルが届いた！(清水川記) by 清水川さん
Google App Engine + Pythonプログラミング環境としてPeggy - FutureInsight.info
Peggyというプログラミング用エディタをご存知でしょうか？ 岐阜＆山形セフレと出会い系の掲示板でママ活しよう 僕も@asheltwに教えてもらうまで知らなかったのですが、これがなかなかいいエディタです。 今までPythonのソースコードを書くときは、Eclipse + PyDevでやっていたのですが、これがいつまでたっても手になじみません。理由はいくつかあるのですが、ざっと上げてみると、 起動がそもそも遅い 変数の補完がかなり適当 シンタックスエラーの表示が明示的じゃない インクリメンタルサーチの仕方が未だにわからない など、まぁ、僕があまりEclipseの仕様が好きじゃないことが主な原因なのですが、最近Google App Engineで本格的にプログラミングを再開しており、このまま我慢してEclipseを使い続けるよりも自分の手になじむ開発環境を作ろうと思い、Pythonの開発環境を
Google App Engine上で動作するブログエンジン·Bloggart MOONGIFT
BloggartはPython製/Google App Engine用のフリーウェア（ソースコードは公開されている）。Google App EngineはWebアプリケーションを開発するのに便利なクラウドサービスだが、もっと一般化するためにはできあがっているWebアプリケーションの普及が欠かせないだろう。 エントリー画面 一般ユーザが使いやすいものとしては、現状筆頭とも言えるのがブログエンジンだろう。BloggartはGoogle App Engine上で動作するように作られたブログエンジンであり、小規模なブログであればフリーではじめられることになる。 Bloggartは管理画面付きのブログエンジンで、新規ポストや一覧、編集を管理画面で行う。サイドバーについては設定ファイルを修正する必要があるし、デザインの修正もテンプレートを変更する必要があるので一般ユーザにはまだ敷居が高いかも知れない。
コマンドラインから英和・和英翻訳をする - いろいろな何か
少し前に、Google翻訳サービスでインクリメント翻訳ができるようになりました。タイプするそばから翻訳されていくのは見てておもしろいし、いちいち翻訳ボタンを押さなくても良いので便利になりました。でも、ちょっと意味を確認したいだけなのに、Google翻訳のページに行くのが面倒くさい... (*ﾟ0ﾟ)ﾊｯ!! Google翻訳で英和・和英翻訳するコマンドがあれば良くね？ってことで作りました。Pythonで。以下のソースをe2jというファイル名で保存してください。ちなみに実行環境はUbuntu 9.10、Python 2.6.4です。 #!/usr/bin/python #-*- coding:utf8 -*- import sys import urllib import urllib2 import json import pynotify def translate(from_lang=
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
