CPUだけでも使える1ファイル版フリーの量子化省メモリローカルLLMのllamafileを入れてJava,PythonプログラムをAIに書かせてみた。Win,Mac,Linux,*BSDサポート。Dockerより簡単。ジャンクノートPCでおけ。LLM禁止職場に最適。

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224 1ファイルでインストール不要で実行出来る生成AI推論のLLamafileをコマンドラインからVirtualBox＋NetBSD10RCで動作確認。すげーなこれ。*BSDでもLinuxでも完璧。 SSE3必須だからQemuとかはエラーが出るから注意。 だれかPkgsrc-WIPに入れて下さい・・・ pic.twitter.com/kstDUa2IQK 2023-12-10 08:18:43 Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224 llamafileはここからダウンロードして実行するだけ chmod +x mistral-7b-instruct-v0.1-Q4_K_M-main.llamafile ./mistral-7b-instruct-v0.1-Q4

[yarumato]

“ネットワークに接続しないので、LLM禁止職場でも使える。　llamafileはダウンロードして実行するだけ。Windowsでllamafileを使うには。コマンドラインでダウンロードに使うツール。日本語で回答させたければ一工夫必要。”

[kotesaki]

ちょっと調べてみよ

[topiyama]

https://github.com/Mozilla-Ocho/llamafile https://gigazine.net/news/20231210-llamafile/

[misshiki]

“1ファイルでインストール不要で実行出来る生成AI推論のLLamafileをコマンドラインからVirtualBox＋NetBSD10RCで動作確認。すげーなこれ。*BSDでもLinuxでも完璧。”