タグ

ec2とipythonに関するmanabouのブックマーク (1)

  • IPython clusterによるバカパラ(分散並列処理) - Qiita

    分散並列処理の基かつ強力なアプローチとして,Single Program Multiple Data (SPMD) があります.これは,複数のプロセッサが同一のプログラムを実行し,その際に各プロセッサは別々のデータを処理する,というモデルです.大規模なデータを独立で処理できる単位に分割し,小分けのデータを複数のプロセッサで並列に処理することで,データ全体の処理時間を大幅に短縮できます. 例えば,a01.txt, a02.txt, a03.txt, a04.txtを入力ファイルとしてjobというコマンドを実行し,実行結果(出力)をそれぞれ,b01.txt, b02.txt, b03txt, b04.txtに格納することを考えます.次のコードは,この処理をbashシェルスクリプトで実現するものです. このforループ内の処理内容は互いに独立ですので,容易に並列化できますし,全体に要する処理時

    IPython clusterによるバカパラ(分散並列処理) - Qiita
  • 1