深層学習コンパイラスタックと最適化概要: 深層学習コンパイラのサーベイ論文 The Deep Learning Compiler: A Comprehensive Survey を基に、深層学習コンパイラの典型的なコンパイラスタックと最適化について説明しています はじめに 近年深層学習の目覚ましい進歩が注目を集めています。例えば ChatGPT をはじめとする大規模言語モデルの登場が社会面に大きな影響を与えたことは、記憶に新しいかと思います。 その背後で技術の進展を支えているのが、計算機における計算速度の向上です。深層学習ワークロードは、膨大な計算を必要とします。半導体の微細化がほぼ限界に達し、ムーアの法則の終焉が囁かれる今、ソフトウェアによる計算の高速化が喫緊の課題となっています。 高速化が求められる理由として、深層学習ワークロードにおける計算量の多さが挙げられます。例えば、サイズ 224\ \text{px} × 22
