31st December 2024 A lot has happened in the world of Large Language Models over the course of 2024. Here’s a review of things we figured out about the field in the past twelve months, plus my attempt at identifying key themes and pivotal moments. This is a sequel to my review of 2023. In this article: The GPT-4 barrier was comprehensively broken Some of those GPT-4 models run on my laptop LLM pri
OpenInterpreter をMetalを使ったローカルのCode Llamaで使ってみた｜alexweberk
OpenInterpreter はデフォルトだと GPT-4 が使われるが、ローカルの Code Llama を使うこともできるということで、 試しに設定して使ってみました。 設定をする上で何点かつまづいたので、解決に繋がったものをメモします。 今回使ったハードウェア環境は、M1 Macbook Pro 16GB です。 ローカルの Code Llama を使うにはOpenInterpreter は、ローカルの Code Llama を使うことができます。 ローカルの Code Llama を使うには、以下のようにします。 interpreter --local使いたいモデルのパラーメータを聞かれるので、今回は「7B」「Medium」「GPU あり」を選択しました。 Open Interpreter will use Code Llama for local execution. Use
Fast and Portable Llama2 Inference on the Heterogeneous Edge
Fast and Portable Llama2 Inference on the Heterogeneous EdgeNov 09, 2023 • 12 minutes to read The Rust+Wasm stack provides a strong alternative to Python in AI inference. Compared with Python, Rust+Wasm apps could be 1/100 of the size, 100x the speed, and most importantly securely run everywhere at full hardware acceleration without any change to the binary code. Rust is the language of AGI. We cr
なんJLLM部 避難所
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:48:59.66ID:???0 !extend::vvvvv:1000:512 !extend::vvvvv:1000:512 AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2以降 本スレ なんJLLM部 ★6 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 0002名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:50:26.11ID:???0 初心
これは、なにをしたくて書いたもの？ 以前、ローカルで動かせるOpenAI API互換のサーバーとしてllama-cpp-pythonを使ってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀 他にも同様のことができるものとして、LocalAIというものがあることを知ったのでこちらを試してみようかなと。 LocalAI LocalAIのWebサイトはこちら。 LocalAI :: LocalAI documentation GitHubリポジトリーはこちらです。 GitHub - mudler/LocalAI: :robot: The free, Open Source OpenAI alternative. Self-hosted, community-driven and local-first. Drop-in replace
Intended Uses Primary use cases The model is intended for commercial and research use in English. The model provides uses for applications which require memory/compute constrained environments latency bound scenarios strong reasoning (especially math and logic) long context Our model is designed to accelerate research on language and multimodal models, for use as a building block for generative AI
LemonadeとLocally Uncensored v2.3.0を徹底比較したい日。ローカルで遊びたくなった。趣味だけど性能は欲しいという沼｜ゆいまる‐IT界隈以外でAIを使いまくる2005年生まれ
ローカルでいいの無いのかな？ そんな疑問で今日も良さそうなのと良さそうなのを比べたい。 何故なら遊びたいから！ 比較というか、後半調べただけかも。れもんあどばっかり使ってる Lemonade：無料でローカルAI環境を簡単に導入できる神ツールを徹底解説AIをローカルで動かしたいけど、OllamaやLM Studioの設定が面倒くさい、クラウドの課金が嫌だ、プライバシーが心配……そんな悩みを一気に解決してくれるツールが登場しました。それが「Lemonade」。 AMDが中心となって開発・最適化を進めているオープンソースのローカルAIサーバーで、テキスト生成はもちろん、画像生成や音声認識・生成まで統一されたAPIで扱えます。 Windows、Linux、macOSに対応し、特にAMDのGPUやNPUで抜群の性能を発揮します。実際に調べてみたところ、導入の簡単さと実用性が高く評価されていることがわ
GitHub - ComfyUI-Workflow/awesome-comfyui: A collection of awesome custom nodes for ComfyUI
ComfyUI-Gemini_Flash_2.0_Exp (⭐+172): A ComfyUI custom node that integrates Google's Gemini Flash 2.0 Experimental model, enabling multimodal analysis of text, images, video frames, and audio directly within ComfyUI workflows. ComfyUI-ACE_Plus (⭐+115): Custom nodes for various visual generation and editing tasks using ACE_Plus FFT Model. ComfyUI-Manager (⭐+113): ComfyUI-Manager itself is also a cu
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Things we learned about LLMs in 2024
OpenAI API互換のサーバーをローカルで動かせるLocalAIを試す - CLOVER🍀
microsoft/Phi-3-mini-4k-instruct-gguf · Hugging Face