Great Expectations: have confidence in your data, no matter what
An end-to-end solutionGX Cloud—powered by the proven capabilities of GX Core— has you covered from start to finish in your data quality process, from your first exploratory data profiles to your complete, continuous process with historical results. With everything you need in one place, GX Cloud frees you to focus on the what of your data quality, rather than the how. What you need, when you need
Python の Flake8 と Mypy のプラグイン作った - Memo
tl;dr Flake8 と Mypy のチェックが動く Vim プラグイン作った。 Flake8 のプラグインは何個あるんだって感じだが、GitHub - kevinw/pyflakes-vim: on the fly Python checking in Vim with PyFlakespyflakes-vim はとっくに deprecated だし、Python3 の type-hint な文法は解釈できないし、既存の Flake8 なプラグイン(Syntactic, neomake) は保存をしないとチェックが走らないし、Syntactic に至っては遅いし、khuno.vim は保存しなくてもリアルタイムにチェックしてくれるが、QuickFix 使わず独自のバッファでエラーリスト管理してるし、どれも気に入らないから結局自分で作った。 GitHub - heavenshell/v
Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments
データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細
私が選ぶ2015年の”新しい”Pythonモジュール トップ5 | POSTD
最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する
Luigi逆引きリファレンス - Qiita
import luigi class MyTask(luigi.Task): date = luigi.DateParameter() def requires(self): return MyDependentTask(self.date) def run(self): with self.output().open('w') as output: with self.input().open('r') as input: for line in input: ret = do_something(line) output.write(ret) output.write('\n') def output(self): return luigi.LocalTarget('./out2_{0}.txt'.format(self.date.isoformat())) class MyDepen
Pythonで整数計画問題・線形計画問題を解く（PuLP編） - Kazuhiro KOBAYASHI
実装方法その2 PuLPのDocumentを全面的に参考にして，集合分割問題（vehicle routing problemのための）の異なる実装方法を試してみた．こららの方が使いやすいことがあるかもしれない．定式化はその１とおなじなので，その１のところの記述を参考にしてください． (以前書いた実装方法その1へ飛ぶ) これから出てくるコードは，表示のために適宜改行しているので，コピーペーストすると動かないので，適宜改行を削除してください． まず，集合分割問題の定義は次のとおり 1: def DefMasterProblem(vehicles, vehicle_feasible_routes,cargos,route_cost, vartype): 2: feasible_routes={} 3: for v in vehicles: 4: feasible_routes+=vehicle_
Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ
PyConJP 2015: pandas/Daskについてお話させていただきました - StatsFragments
10日、11日と PyCon JP に参加させていただきました。ご参加いただいた皆様、スタッフの皆様ありがとうございました。資料はこちらになります。 pandas internals パフォーマンス向上のための pandas 内部実装の説明といくつかの TIPS について。そのうち翻訳するかもしれません。 speakerdeck.com Dask: 軽量並列分散フレームワーク (LT) speakerdeck.com 元ネタ 以下のエントリをベースに、それぞれ新しい内容を追加しています。 sinhrks.hatenablog.com sinhrks.hatenablog.com
Welcome to Invoke! — Invoke documentation
Welcome to Invoke!¶ Invoke is a Python library for managing shell-oriented subprocesses and organizing executable Python code into CLI-invokable tasks. It draws inspiration from various sources (make/rake, Fabric 1.x, etc) to arrive at a powerful & clean feature set. To find out what’s new in this version of Invoke, please see the changelog. The project maintainer keeps a roadmap on his website. T
Python のバージョン毎の違いとその吸収方法について - CUBE SUGAR CONTAINER
この記事の目指すところ 現在 Python はバージョン 2.x 系と 3.x 系という、一部に互換性のないふたつのメジャーバージョンが併用されている。 その上で、この記事にはふたつの目的がある。 ひとつ目は、2.x 系と 3.x 系の違いについてまとめること。 現状、それぞれのバージョン毎の違いはまとまっているところが少ない。 自分用に、このページだけ見ればひと通り分かる！っていうものがほしかった。 ふたつ目は、2.x 系と 3.x 系の違いを吸収するソースコードの書き方についてまとめること。 こちらも Web 上にナレッジがあまりまとまっていない。 これについては今 python-future というパッケージがアツい。 尚、サポートするバージョンは以下の通り。 2.x 系: 2.6 と 2.7 3.x 系: 3.3 と 3.4 本題に入る前に、最近の Python 事情についてまとめ
投票: アドネットワークのデータ解析チームを支える技術 | PyCon JP 2015 in TOKYO
# アドネットワークとは アドネットワークとはインターネットのディスプレイ広告領域において、複数の広告主と複数のメディア(広告枠)を束ねて広告を配信する仕組みです。アドテクやプログラマティック取引という言葉があるように、ネット広告分野では様々な技術が利用されています。 ## データ解析チームとPython データ解析チームのミッションは配信アルゴリズムの改良やデータ分析によって効果的な施策を導き出す事により収益性を向上させる事です。その中でデータ収集からアルゴリズムの実験、効果検証に至るまで様々な所でPythonを利用しています。次のタスクを例に、どの様にPythonを活用しているかを紹介します。 - 分析基盤の構築 - データ収集 - 配信の最適化 - CTR予測 - クリックデータ分析 - CPC最適化 - 多腕バンディット問題 - レポート作成 主に次に挙げる物を使っています - N
The Python Challenge
The first programming riddle on the net There are currently 33 levels. Click here to get challenged What people have said about us: "These sorts of things are in my opinion the best way to learn a language.", brberg at Media Cloisters "It's the best web site of the year so far.", Andy Todd at halfcooked "Addictive way to learn the ins and outs of Python.. a must for all programmers!", salimma at s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter Notebook Viewer
データサイエンスレガシーコードに立ち向かう #reprotech
Client Challenge
GitHub - cookiecutter/cookiecutter-django: Cookiecutter Django is a framework for jumpstarting production-ready Django projects quickly.
GitHub - amontalenti/elements-of-python-style: Goes beyond PEP8 to discuss what makes Python code feel great. A Strunk & White for Python.
What Python can learn from Erlang - 2015.2
Large Scale Non-Linear Learning (Pygotham 2015)
Mining the Social Web (2nd Edition)