並列ファイルシステムへのアクセス局所性を考慮したMapReduce負荷分散実現に向けて | CiNii Research
計算科学アプリケーションには,そのワークフローを MapReduce モデルで容易に記述できるものも多く,MapReduce を採用することにより,実装の容易化,並列実行の自動化等の恩恵を受けられる.一方,計算科学アプリケーションは大規模並列システムで実行されるため,そのワークフローを実行する MapReduce 処理系にも高いスケーラビリティや,並列ファイルシステムに対応した高速 IO の実現が求められる.本研究では MapReduce 実行中の並列ファイルシステムへのアクセスの局所性を高めつつ,スケーラブルに動的負荷分散を行う処理系の実現を目指す.本稿では,並列ファイルシステム上のファイルの位置に基づく,該当ファイルを入力とするタスクを静的に割り振る手法を提案し,大規模並列システム向け MapReduce 処理系 K MapReduce に,京コンピュータを対象システムとして実装した.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
学習オートマトンを伴う競合学習・強化学習オンラインクラスタリングによる収束性能の向上および避難誘導システムへの応用 | CiNii Research
SIMD命令によるモジュラリティに基づくグラフクラスタリングの並列化 | CiNii Research
SNSのネットワーク構造と情報伝播現象の分析 | CiNii Research
Adversarial bandit problems with multiple plays | CiNii Research
多数の動画像を対象とするリアルタイム異常値検出の検討 | CiNii Research
単語の共起関係に基づく機械学習による文書分類 | CiNii Research
Jubatusの機能を利用した二者択一型不動産賃貸物件推薦サービスの開発 | CiNii Research
既存VMMへの適用が容易でゲスト透過なポストコピー型仮想マシン再配置機構 | CiNii Research
24aYB-1 2部グラフにおける複雑ネットワーク生成モデル(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理)) | CiNii Research
