IPython clusterによるバカパラ（分散並列処理） - Qiita分散並列処理の基本かつ強力なアプローチとして，Single Program Multiple Data (SPMD) があります．これは，複数のプロセッサが同一のプログラムを実行し，その際に各プロセッサは別々のデータを処理する，というモデルです．大規模なデータを独立で処理できる単位に分割し，小分けのデータを複数のプロセッサで並列に処理することで，データ全体の処理時間を大幅に短縮できます． 例えば，a01.txt, a02.txt, a03.txt, a04.txtを入力ファイルとしてjobというコマンドを実行し，実行結果（出力）をそれぞれ，b01.txt, b02.txt, b03txt, b04.txtに格納することを考えます．次のコードは，この処理をbashシェルスクリプトで実現するものです． このforループ内の処理内容は互いに独立ですので，容易に並列化できますし，全体に要する処理時
GitHub - IntelPython/sdc: Numba extension for compiling Pandas data frames, Intel® Scalable Dataframe Compiler
