3回目のPyCon参加と3年目のコミュニティ参加と4回目の野球Python〜 #PyConJP 2016レポート - Lean Baseball
こんばんは、野球Pythonの人こと@shinyorke(なかがわ)です. 盛会なまま、無事（いや、一部色々あったけれども）終了しましたね、PyCon JP 2016カンファレンスDay. 自分はSprintに参加する予定が無い（理由は後述）ので、一足先にPyCon JPをDone.しました. トークセッションやポスターを聴いたりご覧になったりしてくださった皆さま、スタッフの皆さま、親愛なるPythonistaな皆さま、本当にお疲れ様でした&ありがとうございました！ 今年のレポートは、33+4歳に掛けて、 3回目のPyCon参加で自分にもたらされた変化 コミュニティ参加3年目を振りかえる (PyCon JPでの)4回目の野球トーク「ビックデータとPythonを用いた野球の統計分析」 この3つのテーマで自分語りをしたいと思います. 最初二つ(3回目のPyConと3年目のコミュニティJoin)
「HTTPプロクシライブラリproxy2の設計と実装」というタイトルで発表した - ももいろテクノロジー
プレゼンテーション：HTTPプロクシライブラリproxy2の設計と実装 | PyCon JP 2016 in TOKYO PyCon JP 2016で以前作ったPython製HTTPプロクシライブラリについて発表した。 HTTPプロクシライブラリproxy2の設計と実装 from inaz2 きちんとPython 3対応にした状態で発表できなかったのが少し心残りではあるが、以前の発表であまり触れられなかった実装面のあれこれについてまとめることができてよかった。 また、Accept-Encodingの扱いが雑で、うまくいかないケースが出てきていることに気づけたという点でも、よい機会だった。 スタッフ、参加者の方とも交流することができ、楽しいイベントでした。 PyCon JPスタッフのみなさま、ありがとうございました。
scikit-learn準拠で Label propagation とか実装した - でかいチーズをベーグルする
scikit-learn準拠で Label propagation 的なアルゴリズム達を実装した。なんで実装したかというと、 グラフそのもの（隣接行列）を入力したい。 scikit-learnには既にsklearn.semi_supervised.LabelPropagationが実装されてるけど、これはグラフを入力するんじゃなくて、普通にサンプル数×特徴数のデータ行列を与えて、そこから類似度グラフを作るようになってる。これだと例えば手元にソーシャルグラフがあって、そのユーザ（ノード）の属性（興味とか）を Label propagation で推定するということができない。 ハイパーパラメータを楽に決めたい。 自分でグリッドサーチとかやるのはめんどくさいので、sklearn.grid_search.GridSearchCVとかを使いたい。そのためにsklearn準拠にした。 自分の研究成果
RevDB released, v5.4.1
Hi all, The first beta version of RevDB is out! Remember that RevDB is a reverse debugger for Python. The idea is that it is a debugger that can run forward and backward in time, letting you more easily understand your subtle bug in your big Python program. RevDB should work on almost any Python program. Even if you are normally only using CPython, trying to reproduce the bug with RevDB is similar
Pythonでスクレイピング - Scrapy入門最初の2歩目 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 Python製のスクレイピングフレームワークであるScrapyの存在を最近知ったのですが、ちょっと触ってみた感じ最強でした。 具体的な良い所としては以下が挙げられます。 いくつかの設定＋簡潔な記述だけでスクレイピング処理が書ける プログラムベースなのでいざとなれば複雑な処理も書ける Scrapy Cloud というクラウドサービスと連携しているため、作成したクローラをコマンド一つでデプロイ＆実行できる クラウドサービスを使えばスケールも簡単、スケジューリング機能、統計情報や監視もついている 概要と導入には以下の記事が大変参考になり
高速化のためのPython Tips - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか？私は元気です。 Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。 本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profiling 基本的な条件 計測コード Pythonの基本的な書き方部分 rangeよりxrangeを（Python2.7） リストの生成 文字列結合 Import文のコスト 関数呼び出しのコスト ドットを避ける yieldを使う Numpyに関するTips Numpyを使用して基本演算を高速化する Numpyの要素にアクセスする演算をしない Numbaで手早く高速化 その他高速化ツール Cython Dask PyPy 感想並びに展望 参考文献 Pythonにおける高速化の必要性 PythonはC++やJavaと比較すると非
SMTPの設定無しで、pythonで特定のメールアドレスにメールを送付する - Qiita
背景 以前、Ubuntu上でブラウザを自動実行し、WEB上の値を定点観測するという記事を書きました。 監視している値に目立つ動きがあった場合、メールでアラートを送るということを検討したのですが、SMTPサーバーを１から設定するのは面倒でした。 調べてみるとGmail APIを使えばSMTPを用意しなくてもメールの送信ができるということでプログラムを組んでみました。 環境 OS : Ubuntu16.04 python : version3.5 Step１） Gmai APIを使うための準備 （１）python用Gmail APIパッケージをインストール from __future__ import print_function import httplib2 import os import apiclient from apiclient import discovery import
Pythonコードを使用して、Pythonコードを書く方法を人工知能に学習させる | POSTD
ここでは少しの間、自律走行車のことは忘れてください。物事は深刻になってきています。この記事では、独自のコードを書くマシンを作ることに的を絞って話を進めていきたいと思います。 GlaDoS Skynet Spynetを使用します。 具体的に言うと、Pythonのソースコードを入力することで、自分でコードを書くように、文字レベルでのLong Short Term Memoryニューラルネットワークを訓練していきます。この学習は、TheanoとLasagneを使って、EC2のGPUインスタンス上で起動させます。説明が曖昧かもしれませんが、分かりやすく説明できるように頑張ってみます。 この試みは、 こちらの素晴らしいブログ記事 に触発され行うに至りました。皆さんもぜひ読んでみてください。 私はディープラーニングのエキスパートではありませんし、TheanoやGPUコンピューティングを扱うのも初めてで
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
Jupyter-notebook の作図ライブラリ比較 - Qiita
時は戦国 Python には作図ライブラリがたくさんあります。 最もデファクトスタンダードに近く歴史も古い作図ライブラリは matplotlib で間違いないでしょうが、それでも R における ggplot2 ほどの地位は確立していないように思います。 特に、Jupyter-notebook 上ではインタラクティブなグラフを表示するニーズがあり、そこでは静的なグラフよりもさらにライブラリが割拠している印象があります。何がどう違うのかよくわかりません。 そこで今回は代表的な作図ライブラリの Jupyter-notebook 上での 違いについて簡単にまとめます。 注意 各ライブラリはいずれも細かくグラフのスタイルを設定可能で、やろうと思えば同じような見た目のグラフを生成することも可能ですが、今回はできるだけ何も設定せずにプロットした時のグラフを使います。 今回試すライブラリたち matplo
仮想継承とsingledispatch - atsuoishimoto's diary
以前、emitjson というパッケージを公開した。使い方は簡単に こちらに 書いたが、要はfunctools.singledispatch() をちょっと使いやすくしたものにすぎない。 singledispatch() は、Python3の抽象基底クラスと組み合わせると、非常に面白い使い方ができる。emitjson を例にして、使い方を紹介してみたい。 emitjson 簡単に emitjson の使い方を說明しておこう emitjson は、emitjson という名前だが、JSON を出力するためのモジュールではなく、いろいろなオブジェクトを json として出力可能なオブジェクトに変換するためのリポジトリを作成するモジュールだ。特にJSON専用ということもなく、たとえばCSVファイルを作成する場合などでも利用できる。 例として、datatime.date 型の日付と、PIL.Ima
AWS Lambdaの処理性能を言語毎に測ってみた - Taste of Tech Topics
こんにちは、@kojiisdです。 この間AWS Summit Tokyoに参加してきたのですが、皆一様に「AWS Lambda」を、 これからのサーバレスアーキテクチャを支える技術として紹介していましたね。 資料でも言葉でも多分に見聞きしており、軽いゲシュタルト崩壊を起こしている今日この頃、 皆さんはいかがお過ごしでしょうか。 さて、今回はAWS Lambdaです。 AWS Lambdaの処理はJavaやNode.js、Pythonなどの言語で記述することができますが、その性能差がどの程度あるのか？測ってみました。 構成 今回の構成は次の様なシンプルなものにしています。 [計測対象（言語）] Python Node.js Java [計測対象（カテゴリ）] 処理速度 使用メモリ [Lambdaでの処理内容] API Gatewayでリクエストを受け付け Lambda内でDynamoDBか
Pythonで学ぶwebアプリケーションの作り方by Flask — study flask 1 ドキュメント
予定と実績¶ Flaskを使う準備 20分 -> 60分 Flaskチュートリアル 40分 -> 60分 休憩 15分 Flaskを使いこなす1 40分 -> 60分 アプリを公開する 20分 -> 20分 休憩 15分 Flaskを使いこなす2 30分 -> 30分 プラグイン、情報源紹介、Q/A、予備 -> 10分
pyenv, virtualenv つかわずdockerで環境をきりはなす - Qiita
プロジェクトごとにpythonのバージョンやインストールするmoduleが違う場合、 開発環境の構築にはpyenv, virtualenv つかうのが一般的(?)な解決策だと思う。 python歴1ヶ月なのでわからんが。 しかしpyenv, virtualenv つかうより プロジェクトごとにdockerで開発環境つくるほうがわかりよいと思ったので 試してみた。 基本的には開発用に立ち上げたコンテナ内でpythonを動かすだけだが。 pythonのバージョンをきりはなす 各バージョンのイメージのコンテナ用意するだけ moduleを切り離す 自分はプロジェクトごとに開発環境となるコンテナ郡を管理する docker-compose.ymlを用意する。 そしてdocker-compose.ymlにpythonのアプリとかが動くコンテナを定義するわけだが pythonが動くコンテナに以下のような設
Pythonでヘッダーのinclude pathを取得する方法 ( How to print include path of Python FIles ? ) - mcbiophys's Digital Bio
MakefileでPythonのファイルパスを取得したいときなどがたまにあるだろう。 そんなときはsys.prefixのトリックが便利だ. import sys print(sys.prefix) #/usr/local/Cellar/python/2.7.xx/Frameworks/Python.framework/Versions/2.7 etc ... MakefileでPython のインクルードパス*1を取得するときは PYTHON_PREFIX = $(shell python -c "import sys; print(sys.prefix)") PYTHON_VERSION = $(shell python -c "import sys;\ print '%d.%d' % (sys.version_info.major, sys.version_info.minor)")
「夏真っ盛り！Spark + Python + Data Science祭り」を開催しました＆Ibisを紹介しました #summerDS - once upon a time,
2016/07/25に「夏真っ盛り！Spark + Python + Data Science祭り」を開催しました。 connpass.com 今回はClouderaに入って初めてのコミュニティイベントということでしたが、なんと400人を超える応募をいただいてとてもありがたい限りです。 会場をご提供いただいたDMM.comラボ様、発表いただいたサイバーエージェントの内藤さん、DMM.comラボの加嵜さん、LTの皆様ありがとうございました。 togetter.com pandasを大規模データにつなぐIbis Ibis: すごい pandas ⼤規模データ分析もらっくらく #summerDS from Cloudera Japan www.slideshare.net Ibisはpandasの作者でもある Wes McKinney(@wesmckinn) の作っているライブラリです。 ひとこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://sekailab.com/wp/2016/07/18/python-test/
My standard tox.ini file that allows you to run coverage, lettuce, nosetests and lint, and to pick out a given feature or a module for nosetest (So that you don't have to run the whole suite)
Speeding up protocol decoders in python
Atom configuration for Web project (Python, JavaScript, HTML, SCSS, etc) - pl.python.org/planeta