サービストップ

はてなブックマーク

B!で、もっと知る
話題のニュースを みんなの感想と一緒に テクノロジーからマンガまで
Scroll

COMMENTコメントで知る

記事へみんなの感想が集まる

「GPUメモリが小さくてもパラメーター数が大きい言語...」への感想

  • napsucks
    napsucks 4ビット量子化で充分性能が出るという話は数ヶ月前から出回ってたな。GPUもそのうち演算機でパックド4bitをサポートし始めるのかも知れない。 2023/06/03
  • issyurn
    issyurn “LoRAをベースに、追加で3つのテクニックを利用することで650億(65B)パラメーターのモデルを48GBしかメモリを搭載していないGPUでトレーニング可能にしたうえ、24時間のトレーニングでChatGPTの99.3%に匹敵する性能を引き出す 2023/06/03
  • nicht-sein
    nicht-sein GPUの並列計算能力使い道として機械学習が使われている現状なんだけど、最近の4bit演算とかになると既存のGPUの得意とすることろから外れてきてしまってジレンマがある、って話題になってたなー 2023/06/04
  • yamadar
    yamadar これは凄い。コンピュータ資源がカツカツになってる現在、この手法は一気に広まるポテンシャルがあるのでは。 2023/06/03
  • T-norf
    T-norf GPT-3.5クラスの性能が、48GのGPUメモリでファインチューニングできそうで、これは論文全文ちゃんと読まないと。と、日本語でがっつりファインチューニングしたベースモデルが欲しい。 2023/06/03
もっと読む

HOT ENTRY人気ブックマークで知る

ブックマークが集まった今日の話題をチェック！

今日6/27(木)のブックマーク人気記事

もっと読む
  • App Storeからダウンロード
  • Google Playで手に入れよう
© Hatena また押してみてね