「いくつか実装を試したが、一番手っ取り早く動かせたのはこれだった」←このフットワークの軽さは凄いと思う。「論文著者はlog2(3)で1.58ビットという主張をしている」←乗算を使わないことが重要なのか。

mohno のブックマーク 2024/02/29 11:09

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4749953678947463424/comment/mohno" data-user-id="mohno" data-entry-url="https://b.hatena.ne.jp/entry/s/note.com/shi3zblog/n/n58b0a2252727" data-original-href="https://note.com/shi3zblog/n/n58b0a2252727" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnote.com%2Fshi3zblog%2Fn%2Fn58b0a2252727" data-user-icon="/users/mohno/profile.png">驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E6%B8%85%E6%B0%B4%E4%BA%AE">清水亮</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/Microsoft">Microsoft</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/BitNet">BitNet</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E7%A0%94%E7%A9%B6">研究</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD">人工知能</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E7%94%9F%E6%88%90AI">生成AI</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E6%8A%80%E8%A1%93">技術</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/1%E3%83%93%E3%83%83%E3%83%88%E9%87%8F%E5%AD%90%E5%8C%96">1ビット量子化</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/LLM">LLM</a>]</li></ul><br><p style="clear: left">「いくつか実装を試したが、一番手っ取り早く動かせたのはこれだった」←このフットワークの軽さは凄いと思う。「論文著者はlog2(3)で1.58ビットという主張をしている」←乗算を使わないことが重要なのか。</p><a class="datetime" href="https://b.hatena.ne.jp/mohno/20240229#bookmark-4749953678947463424"><span class="datetime-body">2024/02/29 11:09</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！