MLC-LLM で Vulkan など Graphics API + C/C++ で LLM が流行ってほしいメモ

いきなり彗星のごとく(?)現れた MLC-LLM Vicuna-7b が iPhone でオンデバイスでうごく... いいね! とりま で cli サンプル試せます. 3090(160W powerlimit) での結果 cli サンプルでは word 単位での streamling ではないため, tokens/sec 推測しずらいですが, RWKV ほど爆速というわけではないものの, そこそこ実用的な速度にはできそう? あと日本語はダメダメでした. Tokenizer 書き直さないとダメかも? GPU メモリ消費は 3.5 GB くらいでした. しくみ Apache TVM をベースにしています. TVM, なんかあんまり流行って無い気もしていましたが, 着実に発展していたのですね. (MLIR はどうなるじゃろか... https://qiita.com/syoyo/items/6d

[sh19910711]

"MLC-LLM: Vicuna-7b が iPhone でオンデバイスでうごく / 日本語はダメダメでした. Tokenizer 書き直さないとダメかも / Apache TVM をベース + あんまり流行って無い気もしていましたが, 着実に発展していた"