SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks - QiitaSpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks自然言語処理機械学習gptSNN Intro 近年どんどんとモデルサイズが大きくなるにつれて，計算効率・エナジー効率の良いモデルの必要性が増している． Spiking Neural Networks (SNN)は情報をバイナリのスパイク列で表現する．これを，スパイクが来た時だけ動くevent-drivenなハードウェア（neuromorphic chips）で動かせば，高いエナジー効率を実現できると言われている． SpikeGPTでは，言語生成にSNNを用いた．ただし，（多くのSNN研究がそうであるように）SNNなのはモデルの一部のみで，モデルの大部分は普通に連続値を扱う． SNNのみで実用的なパフォーマンスのモデルを実装することはまだまだ
