「llamafile」は大規模言語モデルのモデルやウェイトの情報が1つの実行ファイルにまとまった形式のファイルです。Linux・macOS・Windows・FreeBSD・NetBSD・OpenBSDという6つのOS上でインストール不要で大規模言語モデルを動作させることが可能とのことなので、実際にWindowsおよびLinuxディストリビューションの1つであるDebian上で動かしてみました。 Mozilla-Ocho/llamafile: Distribute and run LLMs with a single file. https://github.com/Mozilla-Ocho/llamafile#readme Introducing llamafile - Mozilla Hacks - the Web developer blog https://hacks.mozilla
Kapper@Linuxガジェヲタ&異世界小説家&生成AI&電子工作大好き @kapper1224 1ファイルでインストール不要で実行出来る生成AI推論のLLamafileをコマンドラインからVirtualBox+NetBSD10RCで動作確認。すげーなこれ。*BSDでもLinuxでも完璧。 SSE3必須だからQemuとかはエラーが出るから注意。 だれかPkgsrc-WIPに入れて下さい・・・ pic.twitter.com/kstDUa2IQK Kapper@Linuxガジェヲタ&異世界小説家&生成AI&電子工作大好き @kapper1224 llamafileはここからダウンロードして実行するだけ chmod +x mistral-7b-instruct-v0.1-Q4_K_M-main.llamafile ./mistral-7b-instruct-v0.1-Q4_K_M-main.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く