速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita
結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと比較して膨大なデータの読み込みや計算などを高速に行えます（数十倍～数百倍といったレベルで）。 計算上のメモリ効率がとても良く、無駄の少ない実装になっています。 Daskのように計算が遅延評価されたりと、通常はメモリに乗りきらないデータでも扱うことができます。 Daskのように並列処理で計算を行ってくれます。 Pandasと比較的似たインターフェイスで扱うことができます。 この記事で触れること 主に以下のVaexのトピックに関して本記事で触れます。 インストー
Pythonでデータ分析：ランダムフォレスト - データサイエンティスト(仮)
導入 前回、非線形的な効果を表現することの一例として、決定木回帰を紹介しました。 tekenuko.hatenablog.com 決定木は、ざっくりとしたデータの特徴を捉えるのに優れています*1。しかしながら、条件がデータに依存しがちなため、過学習しやすいという欠点もあったのでした。 この欠点を緩和するための方法として、アンサンブル学習という方法があります。これは、データをサンプリングしてモデルを構築、それらを組み合わせて新たなモデルを構築する方法です。ランダムフォレストは、ざっくりいうと多数の決定木を作成し、それらを平均化する手法です。個々のモデルではデータの変化の影響が大きくても、まるっと平均化したものは影響が少なくなるため、一つの決定木でモデルを作るのに比べて過学習が緩和されやすくなります*2。 ランダムフォレストをより深く理解するためには、ある程度しっかりした機械学習の本を読んだり
（インターン向けに書いた）Pythonパッケージを作る方法 - Qiita
この記事は何？ Pythonパッケージの作り方を説明する Pythonパッケージを作るときに意識して欲しいことを説明する この記事はポエムです これまでのあらすじ インターンを迎える予定なのですが、彼らはパッケージを作ったことがないそうです。 一方で、企業としては、パッケージ化までしてくれないと、実務に使うまで時間がかかってしまって大変です。 そこで、社内向けに「Pythonパッケージの作り方」という文書を書きました。これをインターンの人に読んでもらっていい感じのパッケージを作ってもらうぜ！という都合の良い目論見です。 しかし、 私もいままでパッケージ化のノウハウをきちんと体系的に勉強したわけではないので、イマイチ不安です。そこで、Qiitaにポエム投稿して、ポエム修正をしてもらおうと思ったわけです。 ところどころ日本語が変なのはご容赦ください。日本語に不自由してます。1 この記事を読む人
Wise.io – Machine Learning for the Industrial Internet of Things
Machine Learning for the Industrial Internet of Things Minds+Machines is the premier Industrial Internet event featuring keynotes from industry luminaries, insightful forums, and hands-on demos. Wise.io hosted its first Industrial Machine Learning Workshop (IMLW17) on October 24, 2017. View our presenters. Our flagship product, Wise Support, is now part of AnswerIQ! Wise.io is a well-resourced, r
PythonとLuigiによるデータパイプライン構築 - Qiita
はじめに この記事は Building Data Pipelines with Python and Luigi の和訳です。 元記事がよくできていたので、自分の理解も兼ねて、拙いながらも訳してみました。 誤り等ありましたらぜひコメントでご指摘おねがいいたします。 データサイエンティストにとって、日々の業務はエンジニアリングというよりも研究開発の色が濃いことがしばしばある。にもかかわらず、プロトタイプから製品までのプロセスには、素早く泥臭い決定が次善の策1であり、けっこうな数のリエンジニアリングの努力が必要となる。これはいつも革新を遅らせ、一般的に言えば、プロジェクト全体を遅らせる。 この記事はデータパイプライン構築の経験について議論する：データの抽出、洗浄、結合、前処理などデータ駆動製品のためのデータを準備するのに必要となる一般的なすべてのステップである。特に焦点を当てるのはデータの配管
Pandas Releasing the GIL
Pandas releases the Global-Interpreter-Lock. In the upcoming 0.17.0 verion, pandas will release the Global-Interpreter-Lock (GIL) on groupby operations. In this post, we are going to answer some important questions: What is the GIL? Why is this important? How did we do it? What is the GIL The Global-Interpreter-Lock (GIL) is a mutex that prevents multiple native threads from running in parallel. I
Visual StudioでPythonを書くべき理由 | POSTD
最近、 Visual Studio 2015 がリリースされました。Pythonにも対応しており、 Python Tools for Visual Studio （PTVS）を使うことで、編集やインテリセンス、デバッグ、プロファイリング、Azureへのパブリッシングなど、ほとんど全ての機能が利用可能です。その詳細や ビデオチュートリアルの一部、ドキュメンテーション、その他のソース はvisualstudio.comで見ることができます。また、 Python Tools 2.1 や Python Tools 2.2 beta についてはリンク先のブログ記事をご覧ください。今回の投稿では、Pythonで仕事を始める際にVisual Studioの使用を検討すべき理由について話していきたいと思います。 非常に便利なインテリセンス 何だかインテリセンスについてはいつも話していますね。Visual
Pythonにおけるプロファイリング ― コードの高速化のために | POSTD
ここHumanGeo社ではPythonを使うことが多く、それは極上の楽しみでもあります。美しく機能的なコードを短時間で記述するのにPythonはうってつけで、私個人にとっても一押しの言語です。仕事に限らずプライベートでも使っています。そんな素晴らしいPythonですが、欠点がないわけではありません。それはあまりにも遅いことです。幸いPythonには、コードをプロファイリングするための優れたツールがいくつかあるので、コードの美しさと速さを共存させることができます。 HumanGeoで働き出した頃、実行に長時間を要すプログラムのボトルネックを探り、何とかしてそれを速くさせるという仕事を担当しました。その内容は、 cProfile や PyCallGraph （ ソース ）、はたまたPyPy（高速なPython用代替インタプリタ）などの各種ツールを使って、プログラムを最適化するためのベストな方法
PEP 484 – Type Hints | peps.python.org
PEP 484 – Type Hints Author: Guido van Rossum <guido at python.org>, Jukka Lehtosalo <jukka.lehtosalo at iki.fi>, Łukasz Langa <lukasz at python.org> BDFL-Delegate: Mark Shannon Discussions-To: Python-Dev list Status: Final Type: Standards Track Topic: Typing Created: 29-Sep-2014 Python-Version: 3.5 Post-History: 16-Jan-2015, 20-Mar-2015, 17-Apr-2015, 20-May-2015, 22-May-2015 Resolution: Python-De
@deprecated « Python recipes « ActiveState Code
ActiveState Code (http://code.activestate.com/recipes/391367/) Java has the "@deprecated" flag (in javadocs) which is used to mark a method as no-longer-current and generates a warning if the method is used. Python can do the same thing. import warnings def deprecated(func): """This is a decorator which can be used to mark functions as deprecated. It will result in a warning being emmitted when th
PythonistaのためのJulia100問100答 - りんごがでている
この記事はJulia Advent Calendar 2014の12日目の記事だったはずのものです(遅れてすいません...)。 Pythonユーザーとしての自分に対して100問100答形式で気になるだろうことを列挙したものになっています。 全体は以下の様なセクションに分かれています。 Julia 環境 データ 技術計算 言語機能 文字列 / 正規表現 ファイル / IO システム プロファイリング / ベンチマーク / テスト ライブラリ Juliaのバージョンはv0.3系を基本としていますが、開発中のv0.4の内容も必要に応じてコメントしています。 Julia Juliaってどういう言語なの? Juliaは高レベルでハイパフォーマンスな技術計算のための動的言語だよ。 構文はPythonユーザーならすぐに理解できるよ。 公式ウェブページはここ: http://julialang.org/
ユーザ定義クラスのpickle, unpickle処理のまとめ - Qiita
概要 pickleはPython独自のデータシリアライズフォーマットで非常に強力な仕組みだが、その背後の動作は高い柔軟性と過去の経緯より単純ではない。 ここでは、主要なbuiltinクラス以外（マイナーなbuiltinクラス、標準・非標準のライブラリ・ユーザ定義クラスなど）がpickle化, unpickle化される過程をまとめ、どのようにすれば効率的にpickle化できるユーザ定義クラスが作れるかまとめた。 なお、ここでは Python 3.3.5 及び Pickle Protocol Version 3 を前提にして話を進める。 Python 3.4 より Protocol Version 4 が導入されたが、内部処理はさらに複雑になったため、まずPython 3.3のコードで理解をするは効率的かと思う。 pickle化の処理の流れ 主に、下記のメソッドを追っていけば理解できる。 cl
SymPy
SymPy is a Python library for symbolic mathematics. It aims to become a full-featured computer algebra system (CAS) while keeping the code as simple as possible in order to be comprehensible and easily extensible. SymPy is written entirely in Python. Get started with the tutorial Download Now SymPy is… Free: Licensed under BSD, SymPy is free both as in speech and as in beer. Python-based: SymPy is
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.
Luigi PyData presentation
https://qiita.com/sakamotomsh/items/fffc3004396a669aecc5
Zen Library Reference — Zen Library Documentation 1.0 documentation
What is the correct way to query MongoDB for _id using string by using Python?
http://pythonfasterway.uni.me/
GitHub - tellapart/commandr: Tool that creates command line interfaces for functions automatically.