エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks - Qiita
SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks自然言語処理機械学習g... SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks自然言語処理機械学習gptSNN Intro 近年どんどんとモデルサイズが大きくなるにつれて,計算効率・エナジー効率の良いモデルの必要性が増している. Spiking Neural Networks (SNN)は情報をバイナリのスパイク列で表現する.これを,スパイクが来た時だけ動くevent-drivenなハードウェア(neuromorphic chips)で動かせば,高いエナジー効率を実現できると言われている. SpikeGPTでは,言語生成にSNNを用いた.ただし,(多くのSNN研究がそうであるように)SNNなのはモデルの一部のみで,モデルの大部分は普通に連続値を扱う. SNNのみで実用的なパフォーマンスのモデルを実装することはまだまだ