分散深層学習における耐故障性と可塑性 - Preferred Networks Research & Development
ImageNetを15分で学習して以来 [1]、Chainerと沢山のGPUを使って深層学習を並列化し、一回の学習に必要な時間を大きく短縮することができるようになりました。その後、ImageNetの学習は深層学習における並列化 ・高速化のデファクト標準ベンチマークとなりました [2]。それと同時に、深層学習の並列化および大規模化は進み、複数GPUどころか複数ノードで学習することは当たり前のこととなりました。深層学習の計算が大規模化し所要時間はどんどん短くなりましたが、一般的にはノードが増えれば増えただけ部分故障の確率は高くなります。また、大規模なクラスタでは個々の分散ジョブをスケールアウトしたりスケールダウンする機能、つまり可塑性をもとにした計算資源のやりくりが運用上重要になってきます。そこでChainerを拡張し、分散深層学習に耐故障性だけでなく可塑性を導入する実験を行いましたので、ここ
高性能並列プログラミング
情報システム (ソフトウェアサイエンス・知能情報メディア) 実験B テーマK-9「高性能並列プログラミング」 初回について 2023年10月11日（水）は，12:15 から 3C205 でガイダンスを行います． 担当教員 朴 泰祐 (taisuke at cs.tsukuba.ac.jp) 高橋 大介 (daisuke at cs.tsukuba.ac.jp) 多田野 寛人 (tadano at cs.tsukuba.ac.jp) 小林 諒平 (kobayashi at cs.tsukuba.ac.jp) 4人とも、筑波大学計算科学研究センター 高性能計算システム研究部門の所属です。 実験関連の連絡先メールアドレス cse at hpcs.cs.tsukuba.ac.jp 実施学期 秋学期 実験概要 並列プログラミング技法として、メッセージパッシングによるプログラミングと、スレッド等を用い
UCXを試すメモ(1) - 本当は怖いHPC
最近、ネットワークライブラリのUCXを試しています。 GitHub - openucx/ucx: Unified Communication X (mailing list - https://elist.ornl.gov/mailman/listinfo/ucx-group): ドキュメントを生成 まずはドキュメントをビルドするために、手元のMacにリポジトリを落としてみます。 $ brew install autoreconf automake doxygen graphviz # これ以外にpdflatexが必要 $ git clone https://github.com/openucx/ucx.git $ cd ucx $ ./autogen.sh $ ./configure --with-docs-only $ make docs で、いくつかLatex関係のエラーが出るが、ひ
講習会 | 東京大学情報基盤センター スーパーコンピューティング部門
講習会 Wisteria/BDEC-01 お試しアカウント付き並列プログラミング講習会 他団体と共催で開催する講習会 並列プログラミング講習会 東京大学学内向け講習会 他大学が開催する講習会（遠隔配信による講習会） お試しアカウント付き並列プログラミング講習会 スーパーコンピューティング部門では、全国のスーパーコンピュータ利用者、および利用を検討している新規ユーザ（企業の技術者・研究者を含む）を対象とした、スーパーコンピュータを用いた実習付きの並列プログラミング講習会（お試しアカウント付き講習会）を定期的に実施しています。 本講習会は2021 年 8 月に稼働した Wisteria/BDEC-01 システム にて実施される予定です。 並列処理に関する基礎知識を必要としない初級編に始まり、数値計算の応用レベルの並列化まで、受講者の習得レベルに応じた講習会に参加が可能です。並列化には MPI
MPI Advent Calendar 2017 - Adventar
Message Passing Interface (http://mpi-forum.org/) に関連した何かを細々と書いていきましょう
MPI による並列計算 - boostjp
Boost MPI Libraryはメッセージ通信インターフェイスである MPI を C++ でより簡単に扱えるようにしたライブラリである。 このライブラリを使用する際には MPI の実装 (OpenMPI, MPICH...) が必要になるため注意すること。 また、 C MPI と Boost.MPI の対応は Mapping from C MPI to Boost.MPI を参照。 とくに断りがなければ、ここで紹介するプログラムは C++11 を使用する。 インデックス Boost.MPI を使ったプログラムをビルドする MPI の初期化を行う 自身のランクやノード数を調べる 計算するデータを均等に分散させる あるデータを全てのランクで共有する 計算したデータをあるランクに集める 1対1の通信を行う 1対1の通信を非同期で行う 非プリミティブ型を他のノードへ送信する 全てのランクが同じ
mpi4pyの使い方
これは MPI Advent Calendar 2017 の21日目の記事です。 この記事では、MPIのPythonバインディングである MPI for Python (mpi4py) を紹介したいと思います。 mpi4pyは多くのスパコンにプリインストールされており、PythonからMPIを呼ぶ際は、 ほぼこれ一択のようです。 mpi4pyを利用しているアプリケーションの一例として、 PFI/PFNさんの分散深層学習フレームワーク ChainerMN があげられます。 基本pipでインストールできます。 $ pip install mpi4py 基本的には、MPIの提供する関数を素直にバインディングしています。 下記はHello, worldです: from mpi4py import MPI comm = MPI.COMM_WORLD rank = comm.Get_rank() si
MPIリファレンス
★注意★ このMPIリファレンスは、全ページとも記載内容の複製等は自由ですが、必ず自己責任に基づいて利用して下さい。また、間違いの訂正や内容追加の要望は、必ず以頭までお申し出下さい。
MVAPICH :: Home
MVAPICH: MPI over InfiniBand, Omni-Path, Ethernet/iWARP, RoCE, and Slingshot Network-Based Computing Laboratory The number of downloads has crossed 1.75 million!! The number of organizations using MVAPICH2 libraries has crossed 3,375 in 91 countries!! The MVAPICH team would like to express thanks to all these organizations and their users!! MVAPICH Delivers Sub-minute (22 sec) Job Startup for 229,
インテル® MPI ライブラリー: Hadoop* エコシステムをサポート
この記事は、インテルの The Parallel Universe Magazine 24 号に収録されている、インテル® MPI ライブラリーの Hadoop* エコシステムのサポートに関する章を抜粋翻訳したものです。 長年にわたり MPI は、分散処理モデルの主流として利用されてきました。しかし、大量の入力データの処理を必要とするワークロードを扱うハイパフォーマンス・コンピューティング (HPC) により、新しいアプローチとフレームワークが登場しました。最も一般的なものは、Apache* Hadoop* MapReduce¹ であり、特に Hadoop* ソフトウェア・スタック (すべての関連ツールとフレームワークを含む) が挙げられます。 Vanilla Hadoop* は複数のモジュールで構成され、² 効率良く解くことができる問題の範囲には一定の制約があります。例えば、MapRed
第1回並列プログラミング講習会[東京大学情報基盤センタースーパーコンピューティング部門]
HOME > 利用者支援 > 講習会 > 第1回並列プログラミング講習会 第1回並列プログラミング講習会 座学「並列プログラミング入門」in 金沢 共催：東京大学情報基盤センター、PCクラスタコンソーシアム（実用アプリケーション部会） 開催趣旨 並列処理プログラミングの初心者を対象とした、プログラム高速化の基礎、OpenMPの基礎、および、MPIの基礎の座学講習会です。受講料は無料です。 本講習会は、OpenMPやMPIの機能すべてについて学ぶのではなく、よく利用される機能、および、実用でよく生じる利用と性能の観点での問題、および、近年のCPUにおけるチューニングで問題となった事例について講習いたします。 また、エクサスケールコンピューティングに向けて必須となるHybrid並列化手法(MPIとOpenMPを用いた並列化)に向けた、入門的な解説も行います。
A Comprehensive MPI Tutorial Resource · MPI Tutorial
A Comprehensive MPI Tutorial Resource Welcome to mpitutorial.com, a website dedicated to providing useful tutorials about the Message Passing Interface (MPI). Tutorials Wanting to get started learning MPI? Head over to the MPI tutorials. Recommended Books Recommended books for learning MPI are located here. About This site is no longer being actively contributed to by its original author (Wes Kend
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ULFM 2.0
The MPI C++ bindings: what happened, and why? - Cisco Blog
GitHub - oweidner/docker.openmpi: A scalable OpenMPI runtime container for Docker
https://www-is.amp.i.kyoto-u.ac.jp/data/sekido/20140521-1.pdf
Parallel Programming with MPI