深層学習モデルの推論ランタイムを0から作った話

はじめに 深層学習モデルを動作させるためのソフトウェアは数多くあります。 PyTorch や TensorFlow などのフレームワークはそれ自身がモデルを実行する機能を持っていますし、ONNX Runtime のようにモデルを動作させることに特化したソフトウェアも存在します。 これらのソフトウェアは大抵、Python などから簡単に扱うことができます。 しかしながら、それらがどのように動作しているのか疑問に思うことはないでしょうか。 この記事では、0 から深層学習モデルの推論ランタイム（長いので以下「深層学習ランタイム」）を作った過程で学んだことを、とりとめもなく紹介していきます。ほとんど、自分用のメモのようになってしまうかもしれません。 作ったものは以下のリポジトリにあります。 （技術的にはかなり適当なことを書いてしまうかもしれません。） 深層学習ランタイムは何をするのか 深層学習ラン

[natsutan]

僕も頑張らないと