大規模分散学習でGPUを食べまくる人｜マソラ

こんにちは！東工大修士2年/産総研RAの高島空良と申します。本記事は、研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の17日目の記事となります。 本記事では、私がcvpaper.challengeに研究メンバーとして参画した経緯から1年間活動してきた内容の振り返りを、ざっくばらんに記載します。メインコンテンツは「大規模分散学習」になる見込みです。 私の体験を通して「cvpaper.challengeでの研究・活動の流れ」や「cvpaper.challengeの研究コミニュティの雰囲気」なども伝えられれば幸いです。 注：勢いに任せて執筆した結果、かなり長くなってしまったので、ご興味に応じて適当に読み飛ばしていただければと思います🙇‍♂️ 自己紹介私は現在、東京工業大学の情報工学系修士2年で、高性能計

[sh19910711]

2022 / "ABCIグランドチャレンジ: 4000基を超えるV-100 GPUを24時間占有 + 精神力を試される / プレッシャーに打ち勝つためには「3. 小規模実験の再現」や「6. プロファイリング」といった実験本番前の確認・準備を徹底的に行う"

[Nyoho]

そんなに計算機資源使えるのか……すごい。