大規模モデルを支える分散並列学習のしくみ Part1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
GitHub - google/XNNPACK: High-efficiency floating-point neural network inference operators for mobile, server, and Web
XNNPACK implements the following neural network operators: 2D Convolution (including grouped and depthwise) 2D Deconvolution (AKA Transposed Convolution) 2D Average Pooling 2D Max Pooling 2D ArgMax Pooling (Max Pooling + indices) 2D Unpooling 2D Bilinear Resize 2D Depth-to-Space (AKA Pixel Shuffle) Add (including broadcasting, two inputs only) Subtract (including broadcasting) Divide (including br
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
Learning PyTorch with Examples — PyTorch Tutorials 1.0.0.dev20181001 documentation
Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series Master PyTorch basics with our engaging YouTube tutorial series
MusicLM
MusicLM: Generating Music From Text |paper|dataset| Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, Aren Jansen, Adam Roberts, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour, Christian Frank Google Research Abstract We introduce MusicLM, a model generating high-fidelity music from text descriptions such as "a calming violin melody bac
線形多層ニューラルネットワークにおける陰的正則化とIRMAE
この記事は以下の論文の再現実装を中心とし、線形多層ニューラルネットワークにおける陰的ランク最小化について解説を行います。 Jing, L., Zbontar, J. & LeCun, Y. Implicit Rank-Minimizing Autoencoder. NeurIPS' 20, 2020. https://arxiv.org/abs/2010.00679 線形多層ニューラルネットワークおける勾配降下法による低ランク解の獲得¶一般的なニューラルネットワークにおいて非線形な活性化関数はなぜ必要か、という質問に対する簡単な解答は「複数の線形写像 (or アフィン写像)の合成は1つの線形写像 (or アフィン写像)で表せる」というものです。簡単な例で説明しましょう。まず、入力を$\mathbf{x}$, 出力を$\mathbf{y}$, 重み行列を$W_1, W_2$とした2層の線形ニ
統計数理シンポジウム 生成モデル 岡野原
株式会社 Preferred Networks 岡野原 大輔 @hillbig 生成モデルは世界を どのように理解しているのか 「統計的機械学習」の中核としての 統計数理シンポジウム 2023/05/25 アジェンダ • 現在の代表的な生成モデル 大規模言語モデル/ 拡散モデル • 自己教師あり学習 / メタ学習 • 未解決問題 岩波書店 2023 一般向け 関連書籍 岩波書店 2023 専門家向け 技術評論社 2021 2022 ディープラーニングの基礎知識 日経BP 2022 個別の深い話題 生成モデル x ~ p(X | C) X: 生成対象 C: 条件 • 生成モデル：対象ドメインのデータを生成できるようなモデル – テキスト、画像、動画、化合物、行動列 等 – 条件を通じて、制約、指示、対象ドメインなどを指定する （条件付き生成モデルの方が学習の面でも使いやすさの面 でも有利であ
Some Math behind Neural Tangent Kernel
Date: September 8, 2022 | Estimated Reading Time: 17 min | Author: Lilian Weng Neural networks are well known to be over-parameterized and can often easily fit data with near-zero training loss with decent generalization performance on test dataset. Although all these parameters are initialized at random, the optimization process can consistently lead to similarly good outcomes. And this is true e
AutoML チュートリアル（HPOとNAS）
AutoMLに関するチュートリアル資料です。主に，ハイパーパラメータ最適化（HPO）とニューラル構造探索（NAS）に関する説明をしています。
Toy Models of Superposition
Nelson Elhage∗, Tristan Hume∗, Catherine Olsson∗, Nicholas Schiefer∗, Tom Henighan, Shauna Kravec, Zac Hatfield-Dodds, Robert Lasenby, Dawn Drain, Carol Chen, Roger Grosse, Sam McCandlish, Jared Kaplan, Dario Amodei, Martin Wattenberg∗,Christopher Olah‡ It would be very convenient if the individual neurons of artificial neural networks corresponded to cleanly interpretable features of the input. F
Superposition, Memorization, and Double Descent
Tom Henighan∗, Shan Carter∗, Tristan Hume∗, Nelson Elhage∗, Robert Lasenby, Stanislav Fort, Nicholas Schiefer, Christopher Olah‡ In a recent paper , we found that simple neural networks trained on toy tasks often exhibit a phenomenon called superposition , where they represent more features than they have neurons. Our investigation was limited to the infinite-data, underfitting regime. But there's
『微分可能プログラミング』はどこから来たのか - bonotakeの日記
はじめに（8/3追記） この記事を一旦書いたあと、重要な追加証言が得られたため、追記修正しています。結論もやや変わっていますが、現時点のほうがより正確です。 本編：ここから ディープラーニングが現在これだけ流行っている1つの要因は、TensorFlowやPyTorchなどのフレームワークが非常に便利だからです。ニューラルネットワークの設計、訓練、そして分類などの推論がフレームワークを使えばとても簡単に行なえます。 普通に使っている人達は、これらのフレームワークを『ツール』あるいは『ライブラリ』だとみなしていると思います。でも実際のところ、これらはプログラミング言語です。より正確に言えば、すべてのディープラーニングフレームワークはディープラーニング計算用DSL（Domain-Specific Language、ドメイン特化言語）と見なせます。このDSLは大抵、Pythonなど他の汎用言語への
ニューラルネットワークにおける「宝くじ仮説(Lottery Ticket Hypothesis)」 | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
こんにちは。データサイエンスチームのtmtkです。 この記事では、ニューラルネットワークの機械学習における「宝くじ仮説（Lottery Ticket Hypothesis）」について、解説・実験します。 はじめに 「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks（宝くじ仮説：訓練できる疎なニューラルネットワークを見つけること）」というJonathan Frankle氏とMichael Carbin氏による論文があります。この論文は2018年3月にarXivで公開され、2019年5月にはディープラーニングのカンファレンスであるICLR 2019でBest Paper Awardに選ばれました。 この論文では、「宝くじ仮説（The Lottery Ticket Hypothesis）」というニュー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.tandfonline.com/doi/full/10.1080/10618600.2023.2197488.pdf)
PowerPoint 簡報
Hung-yi Lee
Deep learning theory lecture notes
2022年度講義情報ページ
Science, the hard way
burn_deeplearning
