サクサク読めて、アプリ限定の機能も多数!
まず、MPTはTransformerなのでRWKVと違い、VRAMをめちゃくちゃ要求します。必要なVRAMの容量は、12*N(Nはパラメータ数)で概算できます。 たとえばGPT-13Bをやりたければ、12*13=156GBが必要ということになります。
shodai のブックマーク 2023/06/21 15:10
ABCIでMPT-7Bのファインチューニングを試す|shi3z[GPU][MPT][LLM]まず、MPTはTransformerなのでRWKVと違い、VRAMをめちゃくちゃ要求します。必要なVRAMの容量は、12*N(Nはパラメータ数)で概算できます。 たとえばGPT-13Bをやりたければ、12*13=156GBが必要ということになります。2023/06/21 15:10
このブックマークにはスターがありません。 最初のスターをつけてみよう!
note.com/shi3zblog2023/05/07
前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると言われています。 ABCIは経産省が管轄する日本在住者なら誰でも安価に使えるスーパーコンピュータです。 (...
12 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /
まず、MPTはTransformerなのでRWKVと違い、VRAMをめちゃくちゃ要求します。必要なVRAMの容量は、12*N(Nはパラメータ数)で概算できます。 たとえばGPT-13Bをやりたければ、12*13=156GBが必要ということになります。
shodai のブックマーク 2023/06/21 15:10
このブックマークにはスターがありません。
最初のスターをつけてみよう!
ABCIでMPT-7Bのファインチューニングを試す|shi3z
note.com/shi3zblog2023/05/07
前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると言われています。 ABCIは経産省が管轄する日本在住者なら誰でも安価に使えるスーパーコンピュータです。 (...
12 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /