RubyKaigi 2016, September 8..10, Kyoto, Japan #rubykaigi
Research Fellow at CCS, University of Tsukuba. The author of NArray, a numerical library for Ruby. Pwrake aims at the high-performance parallel execution of data-intensive scientific workflows using multi-node clusters with >~10,000 cores. In the design of Pwrake, I made use of existing powerful tools. First, Pwrake is implemented as an extension to Rake. In this talk, I show that Rake is so power
Pwrakeとは
並列・分散実行が可能なRakeです。従来の非並列プログラムを多数の計算機を用いて並列に実行することにより、Hadoopのような大規模データ処理をお手軽に実現できます。 特徴 Rakefileに記述したワークフローの「並列」実行が可能。 ワークフロー記述言語は、Rake用のRakefileと全く同じ。Rake用に記述したワークフローはPwrakeで実行可能。 依存関係がないタスクを「自動で」並列実行する。タスクが次のグラフのような依存関係のとき、タスクA,B,C,Dを同時に実行できる。 Rakeでも並列実行は可能だが、multitask のprerequisiteタスクのみが並列に実行される。つまり並列タスクを明示的に指定する必要がある。 複数の計算ノードを用いた「分散」実行が可能。 必要な計算機クラスタの設定: SSHでリモートノードにログイン可能であること。 分散ファイルシステム(NFS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - masa16/pwrake: Parallel Workflow extension for Rake, runs on multicores, clusters, clouds.
