![](https://cdn-ak-scissors.b.st-hatena.com/image/square/421caae70bd25f29dde4f4223a0a084168da12cf/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9TExNJUUzJTgyJTkyJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgyJTgwJUU5JTlBJTlCJUUzJTgxJUFCJUUzJTgzJUExJUUzJTgzJUEyJUUzJTgzJUFBJUUzJTgyJTkyJUU3JUFGJTgwJUU3JUI0JTg0JUUzJTgxJTk5JUUzJTgyJThCJUU1JUFGJUJFJUU3JUFEJTk2JUUzJTgwJThDJUU5JTg3JThGJUU1JUFEJTkwJUU1JThDJTk2JUUzJTgwJThEJUUzJTgxJUFCJUUzJTgxJUE0JUUzJTgxJTg0JUUzJTgxJUE2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00Yjk2OTBlMGQ1OGM2OTgyYTNjODI4MjBhYzdlOWJiOA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQweHh5YyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmJjODhlYTkyMjVhZmYyZWJkNDllNGY5NDBiY2M1ZGI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D343a90ea253acb81dbcd203d3d9fcd49)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
LLMを読み込む際にメモリを節約する対策「量子化」について - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LLMを読み込む際にメモリを節約する対策「量子化」について - Qiita
サイズが大きなLLM(70b、130b)を使いたい時に、大量なメモリが必要です。70bの場合は少なくとも80GB以... サイズが大きなLLM(70b、130b)を使いたい時に、大量なメモリが必要です。70bの場合は少なくとも80GB以上のメモリが必要です。(130bの場合は150GB) 例えば、A100(40GB)で計算しても、2,3台以上組み合わせて使う必要があります。 そこまでのリソースがない時には量子化という手法をよく使われてます。 今日は量子化について簡単に紹介したいと思います。 ①量子化前の前提作業:シャーディング(Sharding) ShardingはほとんどのLLMがやっていることです。 Hugging Faceでモデルをダウンロードすると、モデルファイル(.bin)が一つのファイルではなく、少なくとも十数個のファイルで構成されていることは気づけると思います。 一つのファイルをわざと数十個に分ける理由は、異なるstepでモデルの重みを分けて、メモリを節約できるからです。Shardingはacc