気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
zenn.dev/holy_foxエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント2件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる
2026年8月22日時点のFreeToken 0.1.2を、RTX 5090 32GBとRAM 128GBのPCで試しました。 FreeTokenは、Mix... 2026年8月22日時点のFreeToken 0.1.2を、RTX 5090 32GBとRAM 128GBのPCで試しました。 FreeTokenは、Mixture-of-Experts（MoE）モデルのexpertをホストRAMへ置き、必要なexpertだけをGPUへキャッシュしながら推論するサービングエンジンです。狙いはvLLMやllama.cppを単純に高速化することではなく、VRAMに収まらない巨大なMoEをコンシューマ向けGPUで実用速度で動かすことにあります。 実際に試すと、この立ち位置がかなり明確に出ました。23.5GBのOrnith 1.5ではllama.cppとvLLMの方が速い一方、65.2GBのgpt-oss-120bは単発127.1 tok/sで動きました。さらに83.5GBのQwen3.5-122B-A10Bも、多少の調整は必要でしたが32.0 tok/sで推論で
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
zenn.dev/holy_fox
zenn.dev/holy_fox
zenn.dev/holy_fox
zenn.dev/holy_fox
maps.chizutodesign.com
anond.hatelabo.jp
forbesjapan.com
www.shinmai.co.jp
ktrmnm.jp
atmarkit.itmedia.co.jp
speakerdeck.com/opelab
anond.hatelabo.jp
ktrmnm.jp
blux.hatenablog.com
github.com/godaddy
news.yahoo.co.jp
news-hunter.net
suumo.jp
meetscareer.tenshoku.mynavi.jp
agilejourney.uzabase.com
levtech.jp
2026/08/24 リンク