BitNetでMNISTを学習させて見えてきた性質｜shi3z
かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に見直す必要があるのでは?と思い、初心に帰って論理回路を学習させようとした。 BitNetのコードベースははちさんのコードと、Microsoftの公式な論文の実装を併用した。 まず試したのはこのようなコード from bitnet import * import torch from torch import optim im
上司「オンプレでチャットAI作って」 - Qiita
PythonでRinna社が提供している対話LLM rinna/japanese-gpt-neox-3.6b-instruction-sft を動かすことで、ローカルで動作するChatGPTのような対話AIソフトを作成しました！ 筆者自身もLLMや自然言語AIに全く詳しくなく1、Pythonに触ったのも久々だったのですが、言語モデルを手元で動かすのは案外簡単(大嘘2)だったため、本記事ではその紹介をしたいと思います！ ↑アイキャッチのこれは成果物であるTauri製アプリです。内部でPython3によって前述のrinna言語モデルを動かすことで実現しています(後述)。 リポジトリ: https://github.com/anotherhollow1125/rinna_gpt リリース: https://github.com/anotherhollow1125/rinna_gpt/releas
Understanding Large Language Models
Large language models have taken the public attention by storm – no pun intended. In just half a decade large language models – transformers – have almost completely changed the field of natural language processing. Moreover, they have also begun to revolutionize fields such as computer vision and computational biology. Since transformers have such a big impact on everyone’s research agenda, I wan
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
