分散並列処理の基本かつ強力なアプローチとして,Single Program Multiple Data (SPMD) があります.これは,複数のプロセッサが同一のプログラムを実行し,その際に各プロセッサは別々のデータを処理する,というモデルです.大規模なデータを独立で処理できる単位に分割し,小分けのデータを複数のプロセッサで並列に処理することで,データ全体の処理時間を大幅に短縮できます. 例えば,a01.txt, a02.txt, a03.txt, a04.txtを入力ファイルとしてjobというコマンドを実行し,実行結果(出力)をそれぞれ,b01.txt, b02.txt, b03txt, b04.txtに格納することを考えます.次のコードは,この処理をbashシェルスクリプトで実現するものです. このforループ内の処理内容は互いに独立ですので,容易に並列化できますし,全体に要する処理時
![IPython clusterによるバカパラ(分散並列処理) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9aaec057498acfc1b04aabed5a2adf635ca374ed/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9SVB5dGhvbiUyMGNsdXN0ZXIlRTMlODElQUIlRTMlODIlODglRTMlODIlOEIlRTMlODMlOTAlRTMlODIlQUIlRTMlODMlOTElRTMlODMlQTklRUYlQkMlODglRTUlODglODYlRTYlOTUlQTMlRTQlQjglQTYlRTUlODglOTclRTUlODclQTYlRTclOTAlODYlRUYlQkMlODkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTE5ZWE1NTQyMWI3NmM0NGE3M2IyOWQwNzUxNWZhMWEz%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwY2hva2thbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTdmZjg0ZDJlM2MxNDY1NTFlZGViZGY5Y2ZlNDlhMTg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Da24d5875c13809ba62a6a8db55a0c273)