Pythonでのデータ分析 : line_profiler についてのメモ - Qiita
line_profiler が便利です スピーチとスカートは短いほうがいい、という話を聞いたことがあります。 データ分析でも、実験をできるだけ多くしたいので、 前処理などの定型繰り返し作業はできるだけ短いほうがいいですね。 そんなときに役に立つのがプロファリングだと思います。 最近、プライベートで数10GB~サイズのデータを扱うことになりました。 その作業を通じて、並列処理、プロファイリングなどについて 小さな発見がありましたので、共有できたらなと思いました。 初回は、line_profilerでプロファイリングしたときの発見です。 line_profiler については、いろんな方が書いているので、調べて頂ければと思います。 とても素晴らしいプロジェクトです。 データの集計処理をプロファイリングする データについて 実際にあつかったデータはお見せできませんので。。。 そのデータに構造が近
アドネットワークのデータ解析チームを支える技術
Machine Learning Casual Talks #4で登壇した際のスライドです。 今までデータに関わってきた立場、サービス開発してきた立場として、データに関わる人たちが平和になるスキームを現在模索しています。 DMM.comラボでのビッグデータの取組みをご紹介すると共に、この辺を意識して取組むべきでは？と言う投げかけを行ないました。 ご参考になればと願いつつ。 ------- 【ビッグデータチームを発足するにあたって気をつけておきたいn個のこと】 1.ビッグデータチームの結成の仕方により、戦略・推進の方法が異なることを意識しないといけない 2.送信されるログ、転送してきたデータは完全ではないことを意識しておくこと 3.集計したい対象は常に拡大するが、集計ロジックは増やさないように考慮する 4.ログの実装は自分たちでやれる環境を整備しておくと運用側も実装側も平和 5.レポート /
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
