機械学習アルゴリズムのボトルネックをCythonで改善する話 - Qiita
この記事について Pythonを速くする方法について語ります プロファイリングによってCPUバウンドな処理のボトルネックを見つけます 見つけたボトルネックをCythonで改善します はじめに 先日Bayesian Personalized Ranking (BPR)というレコメンドアルゴリズムを実装しました。 こちらの論文の式を参考にコードを書いてみたのですが、実行してみたらちょっと遅すぎて使えなかったため、処理速度の改善に取り組みました。 その時に試したことを備忘録的にまとめます。 この記事で用いる手法とコード BPRはユーザ x アイテムの行列の行列分解を与えます。 ユーザ x アイテムの行列$X$を、ユーザ x ファクターの行列$U$とアイテム x ファクターの行列$V$に分解します。 この問題をどのように解くかはBPRの元論文をご覧ください。 この手法を以下のように実装しました。$
Pythonでのデータ分析 : line_profiler についてのメモ - Qiita
line_profiler が便利です スピーチとスカートは短いほうがいい、という話を聞いたことがあります。 データ分析でも、実験をできるだけ多くしたいので、 前処理などの定型繰り返し作業はできるだけ短いほうがいいですね。 そんなときに役に立つのがプロファリングだと思います。 最近、プライベートで数10GB~サイズのデータを扱うことになりました。 その作業を通じて、並列処理、プロファイリングなどについて 小さな発見がありましたので、共有できたらなと思いました。 初回は、line_profilerでプロファイリングしたときの発見です。 line_profiler については、いろんな方が書いているので、調べて頂ければと思います。 とても素晴らしいプロジェクトです。 データの集計処理をプロファイリングする データについて 実際にあつかったデータはお見せできませんので。。。 そのデータに構造が近
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
