はてなブックマーク

1. クラスタレベル 複数のマシンを使用するクラスタレベルで分散処理することで高速化する方法です。 もうここまでくると Python というプログラミング言語レベルではなくなりますが、高速化の選択肢として説明します。 Hadoop 大量のデータを複数マシンに分散して処理させるオープンソースのプラットフォーム。 Google社内基盤技術をオープンソースとして実装したものらしいです。 Apache Spark カリフォルニア大学バークレー校で開発された分散処理フレームワーク。 Hadoopよりもメモリをうまく使うことで、機械学習を高速で実行できるようにしたものです。 2. コンピュータレベル 1台のコンピュータの中で高速化する方法です。 高速化のアプローチとしては、並列化、GPGPU、ハードウェアの選択があります。 2-1. 並列化 一つのマシンの中で、プログラムを並列化して実行して高速化する

はじめに pythonでいろいろプログラムを実行していると、もっと高速に実行することはできないかなと思うことがあります。 特に性能のいいパソコンなどを持っている人だと、タスクマネージャーを開いてCPUの使用率を眺めていると1スレッドしか使われていないじゃん、と思うことがあると思います。 何とかしてすべてのcpuコアを使用して高速化できないかな、というときに少し調べたらこんな記事が出てきました。 私もこれを参考にいろいろ高速化に成功しましたが、いろいろ落とし穴などがあったため、並列化のやり方を1から解説しようと思います。 どんなコードなら高速化できるか なんでもかんでも高速化することができるわけではありません。 大前提として、___forを使用したループ___がある場合、並列化によって高速化ができる可能性があります。 可能性といったのは、中には難しい場合もあるからで後に解説します。 実際どう