気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
zenn.dev/sunwood_ai_labsエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
OllamaのK/V Context量子化の実践的検証と実装
はじめに OllamaにおけるK/V context cache量子化は、VRAM使用量を大幅に削減できる革新的な技術です。... はじめに OllamaにおけるK/V context cache量子化は、VRAM使用量を大幅に削減できる革新的な技術です。本記事では、実際の検証結果を基に、その効果と実用性について詳しく解説します。また、検証に使用したスクリプトのセットアップと使用方法についても説明します。 検証環境 ハードウェア構成 GPU1: NVIDIA GeForce RTX 4090 (VRAM: 24GB) GPU2: NVIDIA GeForce RTX 3060 (VRAM: 12GB) CPU: Intel Core i9（24コア） ソフトウェア構成 Ollama v0.4.7 Windows 11 CUDA 12.6 テストモデル: llama3.1 テスト結果 性能測定結果 🚀 応答速度 異なるタイプのプロンプトに対する応答時間を測定： プロンプトタイプ 応答時間 トークン数 文字数
zenn.dev/sunwood_ai_labs
zenn.dev/sunwood_ai_labs
zenn.dev/sunwood_ai_labs
zenn.dev/sunwood_ai_labs
www.itmedia.co.jp
note.com/kiwiwi
nikkan-spa.jp
anond.hatelabo.jp
pc.watch.impress.co.jp
zenn.dev/tsuvic
anond.hatelabo.jp
anond.hatelabo.jp
joisino.hatenablog.com
speakerdeck.com/maruloop
developers.gnavi.co.jp
gigazine.net
anitubu.com
foneslife.com
foneslife.com
blog.serverworks.co.jp
onaji.me
