【詳説】Attention機構の起源から学ぶTransformer
みなさんは、Transformerについてどのようなイメージを持っていますか？ 最近は、BERT、GPTなどのTransformerベースのモデルが目を見張るような成果をだしているので、それらを想像する方が多いかと思います。これらはTransformerの発展形ですが、Transformerの起源のほう、即ちAttentionを想像された方もいるかもしれません。この記事で説明していくのは、Transformerの起源のAttention機構についてです。BERTやGPTについては、別の記事で解説できればと思います。 Transformerの論文タイトル「Attention Is All You Need」からTransformerの成功はAttention機構にあることが推測できると思いますが、その通りで、Attention機構なしにTransformerを語るのは難しいです。本記事では、
Millions of new materials discovered with deep learning
Research Millions of new materials discovered with deep learning Published 29 November 2023 Authors Amil Merchant and Ekin Dogus Cubuk AI tool GNoME finds 2.2 million new crystals, including 380,000 stable materials that could power future technologies Modern technologies from computer chips and batteries to solar panels rely on inorganic crystals. To enable new technologies, crystals must be stab
大規模モデルを支える分散並列学習のしくみ Part1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
Author's page : Algebraic Geometry and Statistical Learning Theory
Algebraic Geometry and Statistical Learning Theory Welcome to Author's Page Sumio Watanabe, ``Algebraic geometry and statistical learning theory," Cambridge University Press, Cambridge University Press, Cambridge, UK, 2009. Cambridge University Press in Cambridge Monographs on Applied and Computational Mathematics Google Search : Algebraic geometry and statistical learning theory Google Search : I
GitHub - google/XNNPACK: High-efficiency floating-point neural network inference operators for mobile, server, and Web
XNNPACK implements the following neural network operators: 2D Convolution (including grouped and depthwise) 2D Deconvolution (AKA Transposed Convolution) 2D Average Pooling 2D Max Pooling 2D ArgMax Pooling (Max Pooling + indices) 2D Unpooling 2D Bilinear Resize 2D Depth-to-Space (AKA Pixel Shuffle) Add (including broadcasting, two inputs only) Subtract (including broadcasting) Divide (including br
需要の食い合いを考慮した商品の購入数予測 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された上原祐輝さんによる寄稿です。 背景 商品の購入数予測は重要 近年、小売業界ではDXが進み、多くのビジネスプロセスが効率化されています。その中で、特に購入数予測は企業の競争力を左右する重要な要素となっています。購入数予測とは、過去のデータやトレンドを元に、将来の商品の購入数や需要を予測することを指します。正確な購入数予測は、在庫の無駄を削減し、商品の売り切れリスクを減少させるだけでなく、適切な価格設定を可能にし、利益の最大化に寄与します。 PFNにおいても購入数予測に取り組んでいますが、これまでのモデルでは商品間の需要の食い合いを捉えられていませんでした。そこで、本インターンシップでは需要の食い合いを考慮した商品の購入数予測モデルの開発に取り組みました。 既存モデルの問題点 購入数の予測において、最も基本的なアプローチの一つが各店
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
何でも微分する
IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れることができる点が便利である。本講演では、最適輸送の微分可能な変種とその求め方であるシンクホーンアルゴリズムを紹介する。また、この考え方を応用し、ソーティングなどの操作や他の最適化問題を微分可能にする方法を紹介するとともに、これらの微分可能な操作が機械学習においてどのように役立つかを議論する。 シンクホーンアルゴリズムのソースコード：https://colab.research.google.com/drive/1RrQhsS52B-Q8ZvBeo57vK
Python: 多様体学習 (Manifold Learning) を用いた次元縮約 - CUBE SUGAR CONTAINER
今回は多様体学習を使ってデータの次元を縮約する方法について。 これはデータの前処理として、主に二つの目的で使われる。 一つ目は、次元を縮約することで二次元や三次元の形でデータを可視化できるようにするため。 もう一つは、次元を縮約した結果を教師データとして用いることでモデルの認識精度を上げられる場合があるため。 データの次元を縮約する手法としては主成分分析 (PCA) が有名だけど、これは線形な変換になっている。 ただ、実際に取り扱うデータは必ずしもそれぞれの次元が線形な関係になっているとは限らない。 そこで、非線形な変換をするのが多様体学習ということらしい。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1114 $ python --version Python
最適輸送理論の解説論文とか書籍へのリンクのまとめ - 備忘録
はじめに メモとして。WGANの勉強にもなるかなと。 2023年 11月 追記 輸送計画，輸送写像，輸送経路―有限集合とℝ2の最適輸送理論の違い― https://www.jstage.jst.go.jp/article/bjsiam/32/2/32_69/_article/-char/ja/ 2023年3月時点の最新情報 最適輸送本イベントに寄せて学ぶ - Stimulator 理論 入門 最適輸送理論梗概 [1009.3856] Introduction to Optimal Transport Theory A user’s guide to optimal transport Introduction to Monge-Kantorovich Problem 地球はやっぱり丸かった？！- 物質を最適な方法で運ぶ理論を用いて物の形を理解する NIPS 2017 Tutorial A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.jmra-net.or.jp/Portals/0/committee/innovation/20240508_001.pdf
How to compute Hessian-vector products? | ICLR Blogposts 2024
b2-reinforcement-learning-mw
論文紹介｜JAX実装による、モデルフリーとモデルベースの良いとこどりをした強化学習法 「TD-MPC」
https://www.jstage.jst.go.jp/article/jsiamt/23/3/23_KJ00008829130/_pdf
https://webpark2072.sakura.ne.jp/otworkshop/slide_amari.pdf
https://www.tandfonline.com/doi/full/10.1080/10618600.2023.2197488
DSLT 1. The RLCT Measures the Effective Dimension of Neural Networks — LessWrong
https://www.sciencedirect.com/science/article/abs/pii/S0263876221002811
最优传输理论与计算 ——雷娜 顾险峰 - 脉脉