これだとGPU積んでない安いインスタンスでも動かせるからゲームのNPC用途で気軽に使えそう。というかもはやクライアントサイド内で十分動かせてしまうか。

stealthinu のブックマーク 2023/06/01 20:41

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4737315282028957541/comment/stealthinu" data-user-id="stealthinu" data-entry-url="https://b.hatena.ne.jp/entry/s/zenn.dev/syoyo/articles/946c17666e10fb" data-original-href="https://zenn.dev/syoyo/articles/946c17666e10fb" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fzenn.dev%2Fsyoyo%2Farticles%2F946c17666e10fb" data-user-icon="/users/stealthinu/profile.png">Rinna-3.6B を llama.cpp で CPU 動作のメモ</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/deeplearning">deeplearning</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/LLM">LLM</a>]</li></ul><br><p style="clear: left">これだとGPU積んでない安いインスタンスでも動かせるからゲームのNPC用途で気軽に使えそう。というかもはやクライアントサイド内で十分動かせてしまうか。</p><a class="datetime" href="https://b.hatena.ne.jp/stealthinu/20230601#bookmark-4737315282028957541"><span class="datetime-body">2023/06/01 20:41</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Rinna-3.6B を llama.cpp で CPU 動作のメモ

zenn.dev/syoyo2023/06/01

ふえぇ... Rinna-3.6B-Instruction-PPO しゅごいね... Google Colab で Rinna-3.6B を試す npaka 先生(LLM 神)ありがとうございます. llama.cpp で CPU やスマホで動かしたい...! 量子化なし(素の fp16 weight)だ...

7 人がブックマーク・2 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Rinna-3.6B を llama.cpp で CPU 動作のメモ

はてなブックマーク

公式Twitter

はてなのサービス