ZeRO-Infinity and DeepSpeed: Unlocking unprecedented model scale for deep learning training - Microsoft Research
ZeRO-Infinity and DeepSpeed: Unlocking unprecedented model scale for deep learning training Published April 19, 2021 By DeepSpeed Team Rangan Majumder , Vice President Andrey Proskurin , Corporate Vice President of Engineering Since the DeepSpeed optimization library was introduced last year, it has rolled out numerous novel optimizations for training large AI models—improving scale, speed, cost,
大規模モデルを支える分散並列学習のしくみ Part1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
Unity でサクッと機械学習を体験してみよう【ML-Agents】 - Qiita
「Applibot Advent Calendar 2021」 21日目の記事になります。 前日は @yucchiy_ さんの Unityでアプリ内にアセットを組み込む3つの方法 という記事でした。 はじめに 様々な場面で AI が活用されるようになってきた昨今、機械学習やら深層学習（DeepLearning）などの単語を目にする機会も増えました。興味はあるのだけれど、なんとなく難しそう、大変そう… と手が出せていない方、居るのではないでしょうか？（私です） えいやと試してみたところ、機械学習も Unity も素人の私（サーバサイドエンジニア）ですが、想像以上に簡単に、学習したモデルを動かすまでを体験することが出来ました。 備忘録代わりに手順をまとめたので、ぜひ機械学習に触れたことの無い方も手元で試してみてください。 機械学習ってこんな感じなんだ〜、というふわっとした理解が出来るかと思いま
Batch Normalizationとその派生の整理
概要 Deep Learningでは訓練データを学習する際は一般にミニバッチ学習を行います。 学習の1ステップでは巨大なデータセットの中から代表的なデータを一部取り出して、全体データの近似として損失の計算に使います。バッチことに平均の損失を計算することで、データ数に関係なく統一した学習をすることが狙いです。本記事ではニューラルネットワークの学習安定化を図るためのバッチ正規化手法“Batch Normalization”について議論します。 学習時の重みの初期値の重要性 勾配消失・過学習などに陥って学習に失敗した際、様々なことが要因のして考えられますが中でも見落としがちなのが重みの初期値です。各層の活性化関数の出力の分布は適度な広がりを持つことが求められます。適度に多様性を持ったデータが流れたほうが効率的な学習ができますが、偏ったデータが流れると勾配消失が起きる場合があります。そこで、初期値
GitHub - google/XNNPACK: High-efficiency floating-point neural network inference operators for mobile, server, and Web
XNNPACK implements the following neural network operators: 2D Convolution (including grouped and depthwise) 2D Deconvolution (AKA Transposed Convolution) 2D Average Pooling 2D Max Pooling 2D ArgMax Pooling (Max Pooling + indices) 2D Unpooling 2D Bilinear Resize 2D Depth-to-Space (AKA Pixel Shuffle) Add (including broadcasting, two inputs only) Subtract (including broadcasting) Divide (including br
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development
私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広く知られています。PFNでも、再計算を使ったメモリ節約アルゴリズムに取り組み、実際の事業でフル活用しています。 MN-Core向けの再計算は、消費メモリ削減でなく、高速化を主目的としています。再計算で計算する量が増えるにも関わらず、高速化が達成できるというのが、私がとても面白いと思う点です。カラクリを紹介していきます。 MN-Coreは、DRAMとSRAMの二種類のメモリを持ち、使えるリソースをとにかく演算器に費やしているのが特徴のアクセラ
深層ニューラルネットワークの解剖――統計力学によるアプローチ
深層ニューラルネットワーク（Deep Neural Network, DNN）を用いた機械学習は，深層学習とよばれ，画像認識，機械翻訳などで身近なものとなった．しかしその高い学習能力のメカニズムはよくわかっておらず，ブラックボックスとして使われている面が無視できない．最先端の応用では様々なノウハウが駆使されるが，単純化した状況設定から考える物理学の発想がこのブラックボックスにメスを入れるのに役立つであろう．ニューラルネットワークを用いた機械学習はスピングラスに端を発するランダム系の統計力学，情報統計力学において伝統的に重要なテーマである． Nビットの入力を，Nビットの出力に変換する「関数」を，DNNでデザインすることを考えてみよう．このNをDNNの「幅」とよぶことにする．入出力を含めて，ネットワークには多数のニューロンがある．あるニューロンの状態を変数Siで表そう．これが入力信号h=∑j
Learning PyTorch with Examples — PyTorch Tutorials 1.0.0.dev20181001 documentation
Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series Master PyTorch basics with our engaging YouTube tutorial series
MusicLM
MusicLM: Generating Music From Text |paper|dataset| Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, Aren Jansen, Adam Roberts, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour, Christian Frank Google Research Abstract We introduce MusicLM, a model generating high-fidelity music from text descriptions such as "a calming violin melody bac
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hutchinson Trace Estimation for High-Dimensional and High-Order Physics-Informed Neural Networks
プリファード岡野原氏「エッジAIにチップレット提供も検討」
Neural networks generalize because of this one weird trick — AI Alignment Forum
How Hessian Structure Explains Mysteries in Sharpness Regularization
https://www.tandfonline.com/doi/full/10.1080/10618600.2023.2197488
Stable Diffusion Parameter Budget Allocation.pdf)
PowerPoint 簡報
Hung-yi Lee
Deep learning theory lecture notes
2022年度講義情報ページ