mrjob/docs/guides/emr-bootstrap-cookbook.rst at master · Yelp/mrjobYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PyCon 2014でPython+EMRについて発表してきた
今週末、PyCon JPに初参加し、初技術系発表してきた。 YouTubeでの発表もみたんですが、噛みまくっててヤバメな表情してるタイミングがあるんですが、あれは発表してる時間を計測しているiPhoneの電池が切れた時と、後ろに「あと5分」をお知らせする紙が上がった時です。スーパー焦った。 また、全般的にテンション高めだったのは単に元気になる飲み物をキメてたからです。 謝辞 PyConの運営をしてくださったみなさん、本当にありがとうございました。あのような大規模なイベントをあれだけスムーズに運営されるスキル、本当に凄いです。 tagomorisさんのData Analysis Flowの図をベースに前半は説明行いました。恐らくあの図がなかったら発表前日にあのような資料を作ることはできなかったと思います。ぼんやりしている概念を図に落としこんで公開して頂き、本当にありがとうございます。(ちょっ
Twitter Data Sentiment Analysis Using etcML and Python | bicortex
A while ago I put together a few posts describing Twitter sentiment analysis using a few different tools and services e.g. Zapier, RapidMiner, SQL etc. which can be found HERE, HERE and HERE. All those techniques, although presented in a rudimentary fashion in my blog require an analyst to go through a comprehensive list of processes which are a necessary prelude to getting any valid information o
Python + Hive on AWS EMR で貧者のログサマリ
Sep 14, 201422 likes6,707 viewsAI-enhanced description 1. Akira Chiku is an engineer who works on an engineering team. Their requirements include collecting between 10-20GB of data per day from various sources like Hadoop and Hive. 2. Data is collected from sources like Fluentd and parsed using Query String and stored in Hive. It is then processed and visualized. 3. Data can be stored in S3, proce
“ワンランク上”のデータサイエンティストになる方法とは？～Pythonによるデータ分析の担い手2人が徹底討論 - エンジニアtype | 転職type
『PyCon JP 2014』で登壇するALBERTの池内孝啓氏（左）と、白ヤギコーポレーションCEOのシバタアキラ氏 あらゆる業種・分野でデータ分析へのニーズは高まる中、データサイエンティストと呼ばれる職種を耳にする機会が増えた。データサイエンティストとは、さまざまな統計手法を駆使して膨大なデータの中からビジネスに役立つ知見を引き出すスペシャリスト。エンジニアのキャリアパスとしても今、注目を集めている。 そこで今回、9月12日から3日間にわたって開催される年に1度のPython使いの祭典『PyCon JP 2014』に「Pythonを使ったデータ分析」をテーマに登壇する株式会社ALBERTの池内孝啓氏と、フォローメディアアプリ『カメリオ』の開発当初から膨大なデータの分析・解析を実施してきたという白ヤギコーポレーションのシバタアキラ氏に、「データサイエンティストに必要な資質やスキル」をテー
How to add property to a class dynamically?
The goal is to create a mock class which behaves like a db resultset. So for example, if a database query returns, using a dict expression, {'ab':100, 'cd':200}, then I would like to see: >>> dummy.ab 100 At first I thought maybe I could do it this way: ks = ['ab', 'cd'] vs = [12, 34] class C(dict): def __init__(self, ks, vs): for i, k in enumerate(ks): self[k] = vs[i] setattr(self, k, property(la
Pythonによるモンテカルロ法入門 - 人工知能に関する断創録
PRMLの11章で出てくるマルコフ連鎖モンテカルロ法（Markov chain Monte Carlo methods: MCMC）。ベイズでは必須と呼ばれる手法だけれどいまいち理屈もありがたみもよくわからなくて読み飛ばしていました。 最近、ボルツマンマシンを勉強していて、ベイズと関係ないのにマルコフ連鎖やらギブスサンプラーやらが出てきて本格的にわからなくなってきたのでここらで気合を入れて勉強し直すことにしました。 参考にした書籍は「Rによるモンテカルロ法入門」です。PRMLと同じく黄色い本なので難易度が高そう・・・この本はR言語を使って説明がされていますが、それをPythonで実装しなおしてみようかなーと計画中。numpy、scipyの知らなかった機能をたくさん使うので勉強になりそう。 ただRにしかないパッケージを使われると途中で挫折する可能性が高い・・・あと内容が難しすぎて途中で挫折す
mysqlclient-python を簡易的に非同期I/Oに対応させた - methaneのブログ
libmysqlclient を利用した Python の MySQL ドライバである libmysqlclient-python を、 gevent, meinheld など非同期I/O + 軽量スレッド環境で使いやすいようにしました。 libmysqlclient の API について libmysqlclient は基本的に同期IOのことしか考えられていません。 ですが、クエリを投げてそのステータスを返す mysql_real_query() に限り、代替手段として mysql_send_query() でクエリを送信してから、ステータスを待つ mysql_read_query_result() を呼ぶという事ができます。 また、 MYSQL 型の net.fd というメンバから fd を取得することができます。 これらを組み合わせて、 mysql_send_query() でクエリ
Faruk Akgul - Python Web Frameworks Benchmark
Falcon is a Python web framework developed by Rackspace. It also has a benchmarking tool to test the framework against other frameworks. Out of curiosity, I wanted to see how other frameworks perform in this benchmark. Frameworks of this benchmark: bottle CherryPy Django Falcon Flask Pecan: This was already part of Falcon's default test. I had never heard of it. web.py Werkzeug: More like a utilit
Wheezy Web — wheezy.web 0.1.485 documentation
Introduction¶ wheezy.web is a lightweight, high performance, high concurrency WSGI web framework with the key features to build modern, efficient web: Requires Python 2.4-2.7 or 3.2+. MVC architectural pattern (push-based). Functionality includes routing, model update/validation, authentication/authorization, content caching with dependency, xsrf/resubmission protection, AJAX+JSON, i18n (gettext),
Uploading to PyPI
I found myself within a forest dark, For the straightforward pathway had been lost… Edit: I have been kindly informed that there is, in fact, an official guide for uploading packages to PyPI, located here. I’m a research assistant in a Speech Informatics lab at the University of Minnesota. One of my tasks recently has been to take a Python script written by a former student, make it more flexible
goless: Go-style Python — goless 0.6.0 documentation
Intro¶ The goless library provides Go programming language semantics built on top of gevent, PyPy, or Stackless Python. For an example of what goless can do, here is the Go program at https://gobyexample.com/select reimplemented with goless: c1 = goless.chan() c2 = goless.chan() def func1(): time.sleep(1) c1.send('one') goless.go(func1) def func2(): time.sleep(2) c2.send('two') goless.go(func2) fo
Host, run, and code Python in the cloud: PythonAnywhere
Get started for free. Our basic plan gives you access to machines with a full Python environment already installed. You can develop and host your website or any other code directly from your browser without having to install software or manage your own server. Need more power? Upgraded plans start at $5/month. Start running Python online in less than a minute! » Watch our short video » Not convinc
Python Elasticsearch Client — Python Elasticsearch client 9.0.2 documentation
Python Elasticsearch Client Welcome to the API documentation of the official Python client for Elasticsearch! The goal of this client is to provide common ground for all Elasticsearch-related code in Python; because of this it tries to be opinion-free and very extendable. High-level documentation for this client is also available.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonへの型アノテーション導入を目指すGuido van Rossum氏
http://jeanphix.me/Ghost.py/
BeeWare、PythonでネイティブGUIアプリケーションが作成できるクロスプラットフォーム用ツールキット「toga」をリリース。
Python DictShieldを使用してJSONオブジェクトのバリデーションを行う - Qiita
GitHub - jmcarp/robobrowser
http://tavendo.com/blog/post/is-crossbar-the-future-of-python-web-apps/
