深層モデルの高速化深層モデルの様々な高速化方法を紹介したサーベイスライドです。 連絡先: @joisino_ (Twitter) / https://joisino.net/
凸最適化の概要と主双対内点法のアルゴリズムの解説 - Qiita
はじめに 凸最適化問題に使われている主双対内点法の解説を目標に、凸最適化の概要を説明します。二次計画がメインターゲットです。 この記事は ソルバーは使ったことあるけど、もう少しアルゴリズムの中身が知りたい 凸最適を学びたいけど、最適化の章までの道のりが長すぎてつらい な方が対象です。いまどき1から凸最適アルゴリズム実装しようなんて物好きは稀だと思いますが、この記事の目的は主双対内点法を実装するための知識を全体的にふわっと理解することです。 二次計画でよく使われる 主双対内点法 と 有効制約法 を以下に可視化しました。解の求め方が全く異なることが分かります。コードはpythonです。 主双対内点法（primal dual interpoint） 内点法の系譜（有効領域の内部を進む） 徐々に相補性残差を減少させて最適解を得る 線形計画、二次計画、非線形計画まで幅広く対応可能 高次元の問題が得意
[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説] - Qiita
[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説]DeepLearning深層学習Transformer Attentionを爆速にした論文Transformers are RNNsを解説 こんにちはYosematです！ 今回は長いこと計算時間が問題になっていたAttentionが爆速になってしまったという論文Transformers are RNNsを解説していきます。 今後も論文解説を続けていきますのでぜひTwitterとQiitaをフォローしてください！モチベ上がります！ 忙しい人向け Attentionの計算に内積を使うのをやめてカーネル関数を使う Self-Attentionの計算オーダーが$O(n^2)>>O(n)$になった 計算は爆速になったけどパフォーマンスはcompetetive! Tra
![[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d8d4d84eca044cae4e427a7ef160bfc061da1b9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJTVENDAwMCVFNSU4MCU4RCVFNiU5NyVBOSVFMyU4MSU4NFRyYW5zZm9ybWVyJTJDJTIwU2VsZi1BdHRlbnRpb24lRTMlODElQUUlRTglQTglODglRTclQUUlOTclRTklODclOEYlRTMlODElOENPJTI4biU1RTIlMjklRTMlODElOEIlRTMlODIlODlPJTI4biUyOSVFMyU4MSVBQiVFMyU4MSVBQSVFMyU4MSVBMyVFMyU4MSU5RiU1QiVFOCVBQiU5NiVFNiU5NiU4NyVFOCVBNyVBMyVFOCVBQSVBQyU1RCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmU2ZTA3NDIwMDIwYTljMDU5NDMzNjNjNDliMThiYzk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBZb3NlbWF0MSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YWQ2NTNkN2Y5OWRmNmE2YWY2YTI1MDAwNjY3MzNlMjE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D19795f4372018a595595886d8f99d6b7)
[論文メモ] Hydra Attention: Efficient Attention with Many Heads - にんひどりんはんのう
arxiv.org CADL2022 効率的なmulti-head attentionの提案 transformerのattentionはトークンの数の2乗オーダーの計算コストを必要とする。 そのためVision Transformer(ViT)などで高解像度の画像を扱うとトークン数が膨大になり、計算のほとんどをattention matrixの生成と適用に費やすことになる。 これをなんとかしたいというお気持ち。 提案手法 一般的なsoftmax self-attentionは以下の式(1) トークン数を、特徴量の次元数をとすると計算量は。 softmaxをとの類似度を図る関数として一般化したのが以下の式 非線形関数でを分解する。 を先に計算することで、計算量はになる。 これが1つのヘッドに相当。計算量はTについて線形になったが一般になのでまだ高コスト。 基本self-attentionは
![[論文メモ] Hydra Attention: Efficient Attention with Many Heads - にんひどりんはんのう](https://cdn-ak-scissors.b.st-hatena.com/image/square/b8597a1dc20c42bd5183c65d454cda869bf43642/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNinhydrin%2F20220921%2F20220921101350.png)
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed approach is a new attention technique dubbed Infini-attention. The Infini-attention incorporates a compressive memory into the vanilla attention mechanism and builds in both masked local attention and long-te
Netflixによるインスタンス負荷改善のための解析事例 - FPGA開発日記
LinkedInの記事をめぐっているうちに見つけた、マイクロアーキテクチャに関する面白い事例。 CPUのマイクロアーキテクチャのさらに奥深くまで理解が必要な問題を解決するために、どのようなツールをつかってどのように解決したかの話。 netflixtechblog.com Netflix内でのワークロード最適化のため、AWSのインスタンスサイズを移行(16 vCPUから48 vCPU)し、CPUがボトルネックとなるワークロードの性能向上を図った。 このインスタンスの移行により、性能をほぼ直線的に増加させることを想定し、スループットがおよそ3倍になると予想した。 しかし、結果としてこの移行で想定する性能は達成できなかった。 https://netflixtechblog.com/seeing-through-hardware-counters-a-journey-to-threefold-pe
機械学習モデルの逆解析の整理〜線形・非線形モデル、xの制約あり・なし、線形計画法、直接的逆解析、化学構造など
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 y が目標値となる x もしくはそれに関連する化学構造などを設計することは、モデルの逆解析です。 回帰モデル・クラス分類モデルの逆解析～目標のY(物性・活性など)を達成するためのX(説明変数・記述子・特徴量・パラメータ・入力変数)とは？～回帰モデルやクラス分類モデルが得られたあとの話です。 よくやるのは、説明変数 (記述子・特徴量・パラメータ・入力変数) X の値を回帰モデルやクラス分類モデルに入力して、目的変数 Y の値を
医用画像セグメンテーションに向けた基盤モデルの fine-tuning 手法の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された菱沼秀和さんによる寄稿です。 Introduction 2023年度夏季インターンシップに参加した九州大学大学院 医学専攻 博士課程3年の菱沼 秀和と申します。今回のインターンシップでは、画像セグメンテーションの基盤モデルである Segment Anything Model (SAM) の医用画像に対する応用手法について研究しました。インターンシップ中の取り組みのうち、本記事では特に SAM とその派生モデルの比較や fine-tuning の手法についての結果を紹介します。 Background SAM [1] は2023年4月に Meta 社が発表した画像セグメンテーションのための基盤モデルです。約1100万枚の画像と10億以上のセグメンテーションマスクから学習されており、追加で学習を必要としない zero-shot により
最適輸送入門
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144
Sinkhorn-Knoppアルゴリズム
Sinkhorn-Knoppの定理 台をもつ非負行列は, 適切な対角行列の前方および後方からの乗算によって二重確率行列へ変換できる 任意の正方行列 $A$は $D_{1}AD_{2}$が二重確率行列であるような、真に正の成分からなる対角行列 $D_{1}, D_{2}$が存在する Sinkhorn-Knoppアルゴリズム すべての行とすべての列を交互に再スケーリングして合計を 1 にするように変形していけば, それだけで最適解に収束するらしい 最適輸送問題とかも解けるらしい https://theory-and-me.hatenablog.com/entry/2021/05/09/181435 確率分布 $p, q$ のコスト $L(p,q)$は Wasserstein距離なので, 機械学習で大流行してるらしい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文献紹介：Efficient Attention: Attention With Linear Complexities
Linear Attention: Transformers are RNNs - 🍣YuWd(和田唯我)のメモ🍣
https://arxiv.org/abs/2102.11174
人それぞれの競プロとの向き合い方
http://chasen.org/~daiti-m/paper/SNLP2024-Task-Emergence.pdf
A Euclidean transformer for fast and stable machine learned force fields - Nature Communications
On amortizing convex conjugates for optimal transport
Kyoto University Research Information Repository: 2211 複素幾何学の諸問題 II
ラック、標的型攻撃／ランサムウェア攻撃に特化した「Windows・AD要塞化分析サービス」を提供
Wasserstein Consensus ADMM