速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと比較して膨大なデータの読み込みや計算などを高速に行えます（数十倍～数百倍といったレベルで）。 計算上のメモリ効率がとても良く、無駄の少ない実装になっています。 Daskのように計算が遅延評価されたりと、通
Pythonでデータ分析：ランダムフォレスト - データサイエンティスト(仮)
導入 前回、非線形的な効果を表現することの一例として、決定木回帰を紹介しました。 tekenuko.hatenablog.com 決定木は、ざっくりとしたデータの特徴を捉えるのに優れています*1。しかしながら、条件がデータに依存しがちなため、過学習しやすいという欠点もあったのでした。 この欠点を緩和するための方法として、アンサンブル学習という方法があります。これは、データをサンプリングしてモデルを構築、それらを組み合わせて新たなモデルを構築する方法です。ランダムフォレストは、ざっくりいうと多数の決定木を作成し、それらを平均化する手法です。個々のモデルではデータの変化の影響が大きくても、まるっと平均化したものは影響が少なくなるため、一つの決定木でモデルを作るのに比べて過学習が緩和されやすくなります*2。 ランダムフォレストをより深く理解するためには、ある程度しっかりした機械学習の本を読んだり
（インターン向けに書いた）Pythonパッケージを作る方法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は何？ Pythonパッケージの作り方を説明する Pythonパッケージを作るときに意識して欲しいことを説明する この記事はポエムです これまでのあらすじ インターンを迎える予定なのですが、彼らはパッケージを作ったことがないそうです。 一方で、企業としては、パッケージ化までしてくれないと、実務に使うまで時間がかかってしまって大変です。 そこで、社内向けに「Pythonパッケージの作り方」という文書を書きました。これをインターンの人に読んでもらっていい感じのパッケージを作ってもらうぜ！という都合の良い目論見です。 しかし、 私もい
Wise.io – Machine Learning for the Industrial Internet of Things
Machine Learning for the Industrial Internet of Things Minds+Machines is the premier Industrial Internet event featuring keynotes from industry luminaries, insightful forums, and hands-on demos. Wise.io hosted its first Industrial Machine Learning Workshop (IMLW17) on October 24, 2017. View our presenters. Our flagship product, Wise Support, is now part of AnswerIQ! Wise.io is a well-resourced, r
Luigi PyData presentation
In this talk, we provide an introduction to Python Luigi via real life case studies showing you how you can break large, multi-step data processing task into a graph of smaller sub-tasks that are aware of the state of their interdependencies. Growth Intelligence tracks the performance and activity of all the companies in the UK economy using their data ‘footprint’. This involves tracking numerous
PythonとLuigiによるデータパイプライン構築 - Qiita
はじめに この記事は Building Data Pipelines with Python and Luigi の和訳です。 元記事がよくできていたので、自分の理解も兼ねて、拙いながらも訳してみました。 誤り等ありましたらぜひコメントでご指摘おねがいいたします。 PythonとLuigiによるデータパイプライン構築 データサイエンティストにとって、日々の業務はエンジニアリングというよりも研究開発の色が濃いことがしばしばある。にもかかわらず、プロトタイプから製品までのプロセスには、素早く泥臭い決定が次善の策1であり、けっこうな数のリエンジニアリングの努力が必要となる。これはいつも革新を遅らせ、一般的に言えば、プロジェクト全体を遅らせる。 この記事はデータパイプライン構築の経験について議論する：データの抽出、洗浄、結合、前処理などデータ駆動製品のためのデータを準備するのに必要となる一般的なす
Pandas Releasing the GIL
Pandas releases the Global-Interpreter-Lock. In the upcoming 0.17.0 verion, pandas will release the Global-Interpreter-Lock (GIL) on groupby operations. In this post, we are going to answer some important questions: What is the GIL? Why is this important? How did we do it? What is the GIL The Global-Interpreter-Lock (GIL) is a mutex that prevents multiple native threads from running in parallel. I
Visual StudioでPythonを書くべき理由 | POSTD
最近、 Visual Studio 2015 がリリースされました。Pythonにも対応しており、 Python Tools for Visual Studio （PTVS）を使うことで、編集やインテリセンス、デバッグ、プロファイリング、Azureへのパブリッシングなど、ほとんど全ての機能が利用可能です。その詳細や ビデオチュートリアルの一部、ドキュメンテーション、その他のソース はvisualstudio.comで見ることができます。また、 Python Tools 2.1 や Python Tools 2.2 beta についてはリンク先のブログ記事をご覧ください。今回の投稿では、Pythonで仕事を始める際にVisual Studioの使用を検討すべき理由について話していきたいと思います。 非常に便利なインテリセンス 何だかインテリセンスについてはいつも話していますね。Visual
Pythonにおけるプロファイリング ― コードの高速化のために | POSTD
ここHumanGeo社ではPythonを使うことが多く、それは極上の楽しみでもあります。美しく機能的なコードを短時間で記述するのにPythonはうってつけで、私個人にとっても一押しの言語です。仕事に限らずプライベートでも使っています。そんな素晴らしいPythonですが、欠点がないわけではありません。それはあまりにも遅いことです。幸いPythonには、コードをプロファイリングするための優れたツールがいくつかあるので、コードの美しさと速さを共存させることができます。 HumanGeoで働き出した頃、実行に長時間を要すプログラムのボトルネックを探り、何とかしてそれを速くさせるという仕事を担当しました。その内容は、 cProfile や PyCallGraph （ ソース ）、はたまたPyPy（高速なPython用代替インタプリタ）などの各種ツールを使って、プログラムを最適化するためのベストな方法
PEP 484 – Type Hints | peps.python.org
PEP 484 – Type Hints Author: Guido van Rossum <guido at python.org>, Jukka Lehtosalo <jukka.lehtosalo at iki.fi>, Łukasz Langa <lukasz at python.org> BDFL-Delegate: Mark Shannon Discussions-To: Python-Dev list Status: Final Type: Standards Track Topic: Typing Created: 29-Sep-2014 Python-Version: 3.5 Post-History: 16-Jan-2015, 20-Mar-2015, 17-Apr-2015, 20-May-2015, 22-May-2015 Resolution: Python-De
@deprecated « Python recipes « ActiveState Code
ActiveState Code (http://code.activestate.com/recipes/391367/) Java has the "@deprecated" flag (in javadocs) which is used to mark a method as no-longer-current and generates a warning if the method is used. Python can do the same thing. import warnings def deprecated(func): """This is a decorator which can be used to mark functions as deprecated. It will result in a warning being emmitted when th
PythonistaのためのJulia100問100答 - りんごがでている
この記事はJulia Advent Calendar 2014の12日目の記事だったはずのものです(遅れてすいません...)。 Pythonユーザーとしての自分に対して100問100答形式で気になるだろうことを列挙したものになっています。 全体は以下の様なセクションに分かれています。 Julia 環境 データ 技術計算 言語機能 文字列 / 正規表現 ファイル / IO システム プロファイリング / ベンチマーク / テスト ライブラリ Juliaのバージョンはv0.3系を基本としていますが、開発中のv0.4の内容も必要に応じてコメントしています。 Julia Juliaってどういう言語なの? Juliaは高レベルでハイパフォーマンスな技術計算のための動的言語だよ。 構文はPythonユーザーならすぐに理解できるよ。 公式ウェブページはここ: http://julialang.org/
SymPy
SymPy is a Python library for symbolic mathematics. It aims to become a full-featured computer algebra system (CAS) while keeping the code as simple as possible in order to be comprehensible and easily extensible. SymPy is written entirely in Python. Get started with the tutorial Download Now SymPy is… Free: Licensed under BSD, SymPy is free both as in speech and as in beer. Python-based: SymPy is
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.
https://qiita.com/sakamotomsh/items/fffc3004396a669aecc5
Zen Library Reference — Zen Library Documentation 1.0 documentation
What is the correct way to query MongoDB for _id using string by using Python?
http://pythonfasterway.uni.me/
ユーザ定義クラスのpickle, unpickle処理のまとめ - Qiita
GitHub - tellapart/commandr: Tool that creates command line interfaces for functions automatically.