Pwrakeとは並列・分散実行が可能なRakeです。従来の非並列プログラムを多数の計算機を用いて並列に実行することにより、Hadoopのような大規模データ処理をお手軽に実現できます。 特徴 Rakefileに記述したワークフローの「並列」実行が可能。 ワークフロー記述言語は、Rake用のRakefileと全く同じ。Rake用に記述したワークフローはPwrakeで実行可能。 依存関係がないタスクを「自動で」並列実行する。タスクが次のグラフのような依存関係のとき、タスクA,B,C,Dを同時に実行できる。 Rakeでも並列実行は可能だが、multitask のprerequisiteタスクのみが並列に実行される。つまり並列タスクを明示的に指定する必要がある。 複数の計算ノードを用いた「分散」実行が可能。 必要な計算機クラスタの設定: SSHでリモートノードにログイン可能であること。 分散ファイルシステム(NFS
