タグ

numpyとpandasに関するU1and0のブックマーク (2)

  • Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments

    pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる! という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ

    Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
    U1and0
    U1and0 2018/07/27
    行に対するループ / DataFrame.apply は 使わない object 型は使わない ユニークでない / ソートされていない index は使わない
  • pandasのプロット機能を使いJupyter上で作図 - Qiita

    環境 OS X El Capitan 10.11.6 python: 2.7.11 pandas: 0.18.0 matplotlib: 1.5.1 numpy: 1.10.4 IPython: 4.1.2 初めに Pythonによる作図のおすすめ10 Pythonには様々な作図方法があり、matplotlibというライブラリを使うのが基です。ただそれは少し野暮ったいので楽にオシャレに描けるようにするseabornというラッパーがあります。これに満足できなかったら、Bokehとかがいいのかもしれません。ggplotはRで使用している方は馴染みやすいかもしれません。 ただ、どちらにしろデータ整形に必要となるpandasにもmatplotlibのラッパーとしてプロット機能があるので、それを使うことにします。以下のサイトあたりを拝見し勉強したのですが、バージョンの違いなのか表記に微妙に差があり

    pandasのプロット機能を使いJupyter上で作図 - Qiita
  • 1