完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
父親狂い始めてどうしていいかわからない
父親、70代半ば。 定年してから家ですることないし何もしないし酒飲んでばっかり。 人との関わりもできないし社会と関わり持つようなこともなくて時々2階の自室から降りてきて、家族にあることないこと文句言う。 で、本人もコミュ障なのかアスペなのかわかんないけど、酒飲んでなくても認識がおかしいところもあるし、何よりも怒る事くらいしかエンタメがないのか、過去の嫌だった事を1人で煮詰めて、それがグツグツしてペースト状のドロドロになった頃に人にぶつけたりする。 友達とかはいない。 一緒に遊びに行く友達の存在とかもほぼ居なかったと思う、聞いたことない。 すぐに人をこき下ろしたがるのでだれも仲良くしないと思う。 極端に、周りを見下すことでしか自分の優位性を保てないんだと思う。 テレビ見ても雑誌みても、フン、て偉そうに多分何も知らないのに間違っとるとか批評家気取りのズレたご高説を垂れるばかり。 聞いてる側も気
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
