AirflowとDockerで俺々データ分析基盤をつくってみた&Imageを公開してみた #kwskrb - Lean Baseball
ライフワーク（＆将来の仕事）としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ！Docker Imageにしちゃえ！→楽になったぞ！ そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
Pythonメモ : pyheatで時間のかかる処理をヒートマップで表示 - もた日記
pyheat インストール 使い方 pyheatmagic（IPythonで使う場合） インストール 使い方 pyheat github.com pyheatはpprofile + matplotlibのようなモジュールで、pprofile（line_profilerのようにコード単位でプロファイリング）のプロファイリング結果をヒートマップで表示することができる。 インストール pipでインストールできるので下記コマンドを実行（インストールはpyheatではなくpy-heatなので注意）。 $ pip install py-heat ヘルプメッセージ $ pyheat --help usage: pyheat [-h] [-o OUT] pyfile positional arguments: pyfile Python file to be profiled optional argum
Python: freezegun で時刻のテストを楽に書く - CUBE SUGAR CONTAINER
時刻周りの処理はバグが混入しやすい上にテストが書きづらくて面倒くさい。 今回は、そんな面倒な時刻のテストを楽に書けるようになる freezegun というパッケージを使ってみる。 この freezegun というパッケージを使うと Python の標準ライブラリの datetime から得られる現在時刻を指定したものに差し替えることができる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1108 $ python --version Python 3.5.2 時刻をテストするときの面倒くささ 時刻周りの処理をテストをするときは、当然ながら色々な時刻を使ってテストがしたい。 とはいえ、そのためだけにシステムの時刻を変更しながらテストを走らせるわけにもいかないだろう。
簡単に美しいグラフ描画ができるPythonライブラリSeaborn入門 - MyEnigma
データビジュアライゼーションのデザインパターン20 - 混沌から意味を見つける可視化の理論と導入 -posted with カエレバ鈴木雅彦,鈴村嘉右 技術評論社 2015-05-08 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 PythonライブラリのSeabornとは? Seabornのインストール Seabornの特徴 スタイルの変更方法 matplotlibのグラフをSeabornのデフォルトスタイルに変更する Seabornのスタイルを変更する whitegrid dark white ticks 右と上のグラフの枠線を無くす グラフ描画機能 折れ線グラフ 棒グラフ 一次元分布データの描画(ヒストグラムや確率密度関数) ヒストグラム表示 二次元の分布データの描画 散布図のプロット データセットの相関分析 ヒートマップ Mac
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
