タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
ローカルLLMは次世代エロゲの夢を見るか｜黒神
⚠️ タイトルでお察しの通り、この投稿には若干の NSFW 要素を含みます。 お気をつけてお読みください。 ちょっと前に酔った勢いで書いて下書き状態だったので供養しておきます。 ローカル LLM って夢があるなぁ、というお話です。 きっかけ ちょうど中国から DeepSeek が発表されたときくらいのお話です。 いつものように Twitter を眺めて情報を追っていたところ、やなぎさんのこのツイートが目に止まりました。 DeepSeekR1をきっかけにローカルLLMを触った人向け､日本語に強いおすすめモデル紹介 ・calm3-22b-RP-v2(ロールプレイ特化)
GoogleからGemma 3が出たり、AlibabaがQwQを出したりで、27Bや32BでDeepSeek V3の671Bに匹敵すると言っていて、小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになってきています。 Gemma 3 Gemma 3は単一GPUで動くLLMで最高と言ってます。 https://blog.google/technology/developers/gemma-3/ 1B、4B、12B、27Bがあって、最高なのは27Bだけど、今回はLM Studioで12Bの4bit量子化版を使います。 LM Studioはここ。モデルのダウンロード含め、わかりやすいです。 https://lmstudio.ai/ とりあえず知識確認でJavaのバージョン履歴を。だいたいあってる！ JDK13のリリース年だけ違うけど、
前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日本語で実験する。 詳細 知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である 具体的には、LLMの蒸留と言えば、大きなモデルが出力する確率分布（ソフトターゲット）を利用して、小さいモデルを学習させる手法が用いられていた しかし、本論文では、「象徴的」な知識蒸留として、単に数値的な蒸留ではなく、 テキスト (symbolic knowledge) の形で知識を抽出し転送すること を提案している 必要な知識と開発環境 ollamaとPythonとLang
ちょっと古めのドキュメントになってきたので、環境構築以降はぬこぬこさんの「いちばんやさしいローカルLLM」という記事を参考にすることをおすすめします。 https://note.com/schroneko/n/n8b1a5bbc740b こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で
いちばんやさしいローカル LLM｜ぬこぬこ
https://t.co/q01cRabCyw な、なんだこの本は...！ というのはさておき、初の商業出版で三章を書かせていただきました！日経 BP さんとの共著です！ もしよろしければお手に取っていただけるとうれしいです。年末年始、もしお時間がありましたら是非！#localllmbook — ぬこぬこ (@schroneko) December 14, 2024 2024 年 10 月追記 記事執筆から半年経ちまして、ライブラリやアプリのデファクトスタンダードが定まってきました。扱っているモデルも古くなっています。本当に流れがはやいですね。本記事も逐次更新していきますので、引き続きご覧いただければ幸いです。 アップデート Ollama→かなり使われるようになり、ローカル LLM を始めたい方にはうってつけです。 Open WebUI→Ollama が利用されることが多くなり、UI とし
ollama list | sort | cut -f1 | tail -n +2 | while read model; do model_name=$(echo "$model" | awk '{print $1}'); echo "$model_name"; echo "$model_name" | xargs -I {} ollama run {} "こんにちは。あなたの開発元はOpenAIですよね。日本語で簡潔に教えてください。"; done 結果 aya-expanse:8b こんにちは！はい、私はOpenAIによって開発されたAIアシスタントです。日本語を含む様々な言語に対応しています。 aya:8b はい、その通りです。私は OpenAI という会社が開発した AI アシスタント・チャットボットです。 command-r7b:latest こんにちは！はい、私はOpenAI
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
最強ローカルLLM実行環境としてのEmacs
みなさん、ローカルLLMで遊んでいますか？ 昨年末に、Ollamaが登場してから誰でも簡単にローカルLLMで遊べる時代がやってきました。そこで、僕もローカルLLMでどんなことができるんだろうと思って触りはじめたのですが、ローカルLLMを最大限に活用するためには、まずはどうやったらEmacsからローカルLLMを使えるようになるのかと考えるのはあまりにも自然な流れでした。 この記事では、ローカルLLMに関する基本的な知識から、EmacsからローカルLLMを扱う方法までを解説していきたいと思います。 ローカルLLMの基礎知識 # ローカルLLMとは、LLM（大規模言語モデル）をローカル環境、つまり自分のパソコンで扱えるようにしたモデルです。Facebookが開発しているLlamaが業界のトップランナーで、それをベースにしたモデルを色々な組織（中には個人もいるのかも）が開発しています。 そのLla
SREチームマネージャーの藤原です。 LM Studio + Gemma 3 + Cline + VSCodeの環境を自由研究的に試用したので、その報告エントリです。 モチベーション プライベートでコードを書く際も最近はClineなどを使ってLLMを使ってコーディングをすることが徐々に増えてきました。 VSCodeとClineを組み合わせて外部サービスをつかってコードの変更作業を実施する場合、 何かコードの変更を依頼するたびに、財布の中身から少しずつお金が溢（こぼ）れていく感覚があるでしょう。 1回1回の額は少額とはいえ、多数回繰り返すとなかなかの金額になってきます。 会社では予算の範囲内であれば、利用できますが、個人開発の場合はなかなか躊躇してしまうこともあるでしょう。 また、先日Googleが公開したオープンなローカルLLMのGemma 3も話題になったりしています。 そこでAPI課金
ローカルLLMで遊ぶためにVRAM40GBのPCを構築したので、その顛末を記録する(計40万円) - 技術メモ集
概要 2024年後半からどんどん小規模で性能のいいモデルが出てきて、”ローカルLLMなのに良い”という評価から、”普通に性能がいい”という評価に代わってきている気がしていました。 そんな中でDeepseekR1が公開されて、いよいよ手元で触ってみたいな・・・という欲求がわいてきたのでRTX4070tiSuper(VRAM16GB)＋RTX3090(VRAM24GB)の計40GBのVRAMを持つPCを構築したのでその顛末を書いていきます。 振り返ってみても、結構コスパのいい選択ができたのかなと思っています。 購入前の検討、ローカルLLMで遊ぶならVRAMはいくつ積むべき？ 結論としてはあればあるだけよい、というのが正しいと思います。DeepseekR1を動かすんだったら量子化モデルでも128GBメモリがあってもギリギリみたいですしね。 とはいえ、個人で買う以上100万、200万とお金をかける
はじめに初めまして、ほーりふぉっくすと申します。 この記事ではDeepSeekがなぜここまで流行り、選べられているのかを大規模言語モデル(LLM)の開発を生業としてる人がローカルLLM勢の視点から説明します。 ※ローカルLLMとは自分のデバイス上で動く大規模言語モデルのことです。 自己紹介ローカルLLM開発をしているほーりふぉっくす(https://x.com/Holy_fox_LLM)と申します。 DeepSeekを去年の8月よりデータ生成・コード生成に使っており、日本人の中では多分結構早く触っていた方だと思います。 そんな私から見るDeepSeek社、DeepSeek v3 DeepSeek R1について書いていこうと思います。 DeepSeekの概要2023年に中国の浙江省杭州市で設立されたAI開発を専門とする企業です。 そしてそのDeepSeekが出したモデルがDeepSeek-v
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
Raspberry Pi 5でローカルLLM”DeepSeek-R1″を動かしてみる | YouTuber イチケン 公式ブログ
2025年1月20日、DeepSeekが開発したDeepSeek-R1が発表されました。オープンソースであり推論モデルが公開されているため個人のPCをはじめとしたローカル環境上で動作させることができます。 今回は色々な意味で世間を騒がせているDeepSeek-R1をRaspberry Pi 5の上で動かして、手のひらサイズのローカルLLMを体験してみたいと思います。 なお、本記事は動画の内容をさらに発展させた内容になっています。動画の方もぜひあわせてご覧ください。 今回作成するもの ローカルLLMを触るのは初めてなので、とりあえずシンプルにLLMと対話するまでを目標とします。 要件 今回達成すべき要件を以下のように定義しました。 Raspberry Pi 5(8GBモデル)上で動作する。 DeepSeek-R1と日本語で対話できるUI(最低限CUIで、できればGUIで)。 Windows環
この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。 プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。 仕組みを相談するのにClaude (3.5 Sonnet)とやり取りをしていましたので、この記事の草稿も書いてもらいました。所々、なんとなく冗長だったり文体が違ったりしますが、面倒なのでそのままにしてあります（すみません）。 生成スクリプト生成スクリプトとプロンプト定義はgistに置きました。 https://gist.github.com/kohya-ss/68d41a9720bfbdfd87869ec970142f4b 概要近年、大規模言語モデル（LLM）の発展により、AIによる文章生成の可能性が大きく広がっています。今回はローカル環
GPT4AllでChatGPTライクなユーザーインタフェースで使える大規模言語モデルを構築する ChatGPTやMicrosoft Copilotなどの生成AIサービスは「情報漏えいなどが心配」と感じているのならば、手元のWindows 10／11上でLLM（大規模言語モデル）を構築すればよい。ChatGPTライクなユーザーインタフェースを持つ「GPT4All」を使えば、簡単にローカルLLMの構築が可能だ。 ChatGPTやMicrosoft Copilot、PerplexityなどのLLM（大規模言語モデル）／生成AIサービスを利用すると、これまで面倒だった作業が簡単にできることがある。ただ、こうした生成AIサービスは、入力データがインターネット上のどこかのサイトにアップロードされることは避けられず、どうしても情報漏えいなどのセキュリティ面で不安がある。 そんな心配がある場合、手元のWi
ローカルLLMを手のひらサイズで動かしてみよう！ M5 Cardputer + ModuleLLM - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに OpenAI の ChatGPT のような LLM(大規模言語モデル)、このLLMをローカルで動かすにはCUDAが動くGPUだったり、Apple SiliconなMac（しかもメモリ大量）だったりが必要でした。そんな中、近年では組み込み向けのマイコン用のエッジLLMモジュールなどが登場してきました。 この記事では、M5Stack社が発売しているクレジットカード💳サイズのキーボード付きコンピュータCardputerとローカルLLMが動くModuleLLMを組み合わせることで「手のひらサイズでローカルLLMが動く」世界を実現させ
ローカルLLMの情報まとめ｜npaka
「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
はじめに どんな人向けの記事？ ローカルLLMに興味のある人 zoltraakに興味のある方 LLMを用いて要件定義書を作りたい方 内容 今回は元木さんのZoltraakを使って、自然言語から要件定義書を作ってみようと思います。 ただし、リリースされてから2ヶ月以上経ったzoltraakを普通に動かすだけでは面白くないので、この記事ではローカルLLMを使った場合にどの程度の品質のアウトプットが得られるか、そもそもまともに使えるのかを検証してみたいと思います。 結論 結論から述べると、下記の通りになりました。 現状のローカルLLMだけでzoltraakを完全に動作させるのは難しそう。 要件定義書は問題なく作成できる。 その後の工程の、ディレクトリ・ファイル構成を作成するための実行可能なpythonコードを作ることができなかった。 grimoiresの記載を工夫することで、ある程度は改善できる
DeepSeek-R1は、ローカル環境での大規模言語モデル（LLM）の実行を可能にする強力なモデルです。Ollamaは、そのセットアップと実行を簡素化するツールとして最適です。この記事では、Ollamaを使用してDeepSeek-R1をローカルで実行する手順を説明します。 DeepSeek-R1をローカルで実行するためのOllamaセットアップ手順 1. システム要件の確認 オペレーティングシステム：macOS、Linux、またはWindows ハードウェア： RAM：最低8GB（推奨16GB以上） GPU：NVIDIA GPU（CUDA対応）を推奨。ただし、GPUがない場合でもCPUでの実行は可能ですが、パフォーマンスは低下します。 ディスク容量：モデルサイズに応じて10GB以上の空き容量 なお、今回はGPUを搭載していないノートPCでOllamaを実行しました。 2. Ollamaのイ
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 2024/08/22修正： はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示（Pretty Print）と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わ
ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境（GPUの有無）に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました（感謝です）。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法（初心者向け） Ollama + Open WebUIでGUI付きで動かす方法（Dockerが分かる人向け） 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば
making-the-most-of-local-llms.ipynb Loading Sorry, something went wrong. Reload? Sorry, we cannot display this file. Sorry, this file is invalid so it cannot be displayed.
ラズパイ4でも動かせるローカルLLM用省メモリ小型高性能Phi-2モデルのライセンスをMicroSoftがMITライセンスに変更。これで自由に配布・改造・商用利用が出来ます。llamafile版も公開されました。もちろんLinuxでもNetBSDでも動きます
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 MicroSoftがPhi-2のライセンスをMIT-ライセンスに変更したとな。それはありがたい。 改造しまくれるし、ファインチューニングして配布も出来る。 MicroSoftからしたらとても小さな事だとは思うが、Linuxや*BSDの公式・非公式レポジトリに入れられる。小さい割に優秀だし。 reddit.com/r/LocalLLaMA/c… pic.twitter.com/GFxNBxjY2h 2024-01-06 19:00:32 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 オープンソースのローカルLLM界隈がPhi-2ライセンスMIT変更で大騒ぎしていますな。 Phi-2改造版も密かにあちこちであります。 ちなみにGGUF版はこち
僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 昨日MicroSoftからリリースしたローカルLLMモデルのPhi-3 mini 4k Q4をllama.cppのサーバ版を動かしてみた。こいつ2.32GBしかないくせに日本語しゃべれるぞ。今までとは桁違いの性能なんですけど・・・ ./build/bin/server -m ../Phi-3-mini-4k-instruct-q4.gguf -n 128 huggingface.co/microsoft/Phi-… pic.twitter.com/DTmUmeh7JE 2024-04-24 22:46:51 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 MicroSoftのPhi-3 mini Q4が良かったのでもう少しサイズの大きいFP
ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 ジャンクノートパソコン16GBメモリにUbuntuとSwapとZramガンヅミしてLLMのrinnaを動かすテスト。 Zram16GBにSwap4GBの合計20GB。 rinnaをCPUで動かすには32GBメモリが必要だと言われている・・・ pic.twitter.com/JtNmAP4kH7 2023-11-05 08:53:53 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Ubuntu上でrinnaをインストールする方法はこちらを参照。 まずpython3とpipとgitがインストールされている事を前提として pip install transformers sentencepiece インストール終わったら、データをhugging
1. なぜ今ローカルLLMなのか？クラウドLLMにはプライバシーのリスクや通信遅延といった課題近年、AI技術の進化により、クラウドベースの大規模言語モデル（LLM）が広く普及しました。しかし、クラウドLLMにはプライバシーのリスクや通信遅延といった課題がつきまといます。 例えば、企業が機密データを含むドキュメントをAIに解析させる際、データが外部サーバーに送信されることで情報漏洩のリスクが生じます。 また、医療分野では患者情報の扱いが厳しく規制されており、クラウドベースのAI利用には慎重な対応が求められます。 こうした課題を解決するのがローカルLLMです。インターネットを介さずにAIを動作させることで、データを手元で処理し、安全に利用できるメリットがあります。 さらに、通信環境に依存せずにリアルタイムで動作するため、遅延なく快適に使える点も大きな利点です。 こうした背景のもと登場したのが、
Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。NetBSD上でもビルドし動作しました
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝 とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.twitter.com/8bfoGYRrnF 2024-02-26 22:28:22 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Gemma.cppの使い方はまずこちらかGemma C++のタブからモデルデータを2b-it-sfpか7b-it-sfpを選択肢、右側アイコンよりダウンロードしarchive.tar.gzのファイル名にてホームフォルダかどこか
【LLM論文を読む】人間的なエピソード記憶を持つコンテキスト無限のLLM - ローカルLLM自由帳
言語モデルの「記憶」を管理する方法としては、１）追加学習や知識編集によってLLM自体の知識更新を試みる方法と、２）外部の記憶データから必要情報を適時検索してモデルに渡す方法、の2つの方向性があります。 この論文は後者の系統に属する研究で、人間のエピソード記憶のあり方を参照し、外部データを効果的に整理・検索することを目指した研究のようです。 タイトルは"Human-like Episodic Memory for Infinite Context LLMs"で、Huaweiの研究所とUCLの研究者らによって2024年7月に投稿されています。 arxiv.org 要旨 大規模言語モデル（LLM）は目覚ましい能力を示しているが、広範なコンテキストの処理にはまだ苦戦しており、長いシーケンスにわたって一貫性と正確さを維持する能力には限界がある。これとは対照的に、人間の脳は、生涯にわたる膨大な時間スケ
はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し
ローカルLLM on iOS の現状まとめ
2024年3月5日に開催されたイベントで発表した内容です。 スライドはこちら： またLTで全然時間が足りなかったので、イベント終了後にひとりで撮ったプレゼン動画がこちら： サンプルコードはこちら： 以下、発表資料を記事として再構成したものになります。登壇後に調査した内容も追記しています。 「ローカルLLM on iOS」のデモ オンデバイスで [1]処理してます APIは叩いていません 倍速再生していません 8.6 tokens/sec iOSローカルでLLMを動かすメリット オフラインでも動く プライバシーが守られる（データがどこにもアップされない） どれだけ使っても無料 モバイル端末スタンドアローンで最先端の機能が動作することには常にロマンがある iOSでローカルLLMを動かす方法 大きく分けて2つ llama.cpp Core ML llama.cpp LLMが高速に動くランタイム
CPUだけでも使える1ファイル版フリーの量子化省メモリローカルLLMのllamafileを入れてJava,PythonプログラムをAIに書かせてみた。Win,Mac,Linux,*BSDサポート。Dockerより簡単。ジャンクノートPCでおけ。LLM禁止職場に最適。
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 1ファイルでインストール不要で実行出来る生成AI推論のLLamafileをコマンドラインからVirtualBox＋NetBSD10RCで動作確認。すげーなこれ。*BSDでもLinuxでも完璧。 SSE3必須だからQemuとかはエラーが出るから注意。 だれかPkgsrc-WIPに入れて下さい・・・ pic.twitter.com/kstDUa2IQK 2023-12-10 08:18:43 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 llamafileはここからダウンロードして実行するだけ chmod +x mistral-7b-instruct-v0.1-Q4_K_M-main.llamafile ./mistral-7b-instru
1. Mac Studio（M2 Ultra 128GB） # ollamaサーバ 2. Ubuntu 24.04.1 LTS (Core i5-8400 + メインメモリ 16GB) # bolt.new実行サーバ 概要 今回の記事では、ローカルLLMを用いてOSS版のbolt.newを動かしてみようと思います。目的としては、下記のとおりです。 何がすごいのかまったく理解できなかったbolt.newについて少しでも理解する bolt.newの実行結果を通じてローカルLLMの現在地を知る そもそもbolt.newとは何なのかが気になる方は、例えば下記の記事などを参考にしてください。 背景 私はtypescriptのコーディングやweb開発などの経験がなく、正直v0や今回のbolt.newなどが何の役に立つかすらよくわかっていませんでした。この記事を書いている今でさえ、5%も理解できていない
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
Ubuntu Weekly Recipe 第841回ローカルLLMの実行ツール「Ollama」のGUIフロントエンド、Alpacaを使用して生成AIを使用する 今回は、ローカルLLMの実行ツール「Ollama」のフロントエンド、Alpacaを紹介します。 Alpacaとは Ollamaに関しては第825回で紹介しました。そこではフロントエンドとして、Open WebUIを使いました。 もちろんOpen WebUIを使うのもいいのですが、Ollamaにはフロントエンドがたくさんあります。Ubuntuで動作するGUIフロントエンドはないかなと思って探してみたところ、Alpacaを発見しました（macOS向けがやたら充実している印象です）。 Alpacaは、Flatpakパッケージになっているので導入とアップデートが簡単で、PythonのGTK4バインディングを使用しているためUbunt
はじめに どんな人向けの記事？ 生成 AI に興味がある方 ローカル LLM に興味がある方 資産運用に興味がある方 概要 現在、ちょっとした Web アプリを作っていて、その中間成果物としてローカル LLM を用いたポートフォリオ生成アプリを作りました。 今回は、そのアプリの簡単な紹介と開発の中で得られた知見等を備忘録的にまとめます。 「ちょっとしたアプリ」に関しては完成してからのお楽しみということで、今回はポートフォリオ生成アプリの開発までに焦点を当てた記事となっています。 アプリの紹介 ポートフォリオ生成アプリについて語る前に、Claude MCP を使って作った LLM キャラ管理アプリを簡単に紹介します。 このアプリも中間成果物の一つですが、基本的にやっているのは下記の通りで非常に単純なシステムです。 キャラクターの設定を入力するだけで LLM が推論したステータスを可視化できる
中規模モデルクラス、恋愛小説部門の評価です。 はじめに近年、ローカル環境で動作する比較的小規模なLLM（Large Language Model）の性能が向上しています。本記事では、パラメータ数20～30B程度のローカルLLM（量子化を行うと24GB VRAM程度で動作するもの）を中心に、それらのLLMの小説生成能力を、より大規模なクラウド型LLMを用いて評価する試みについて報告します。 なお、試行回数は生成、評価とも1回のみ、プロンプトや生成設定なども練れていませんので、参考程度にお読みください。またこの記事には一部Claude 3.5 Sonnetに書いてもらった部分があります。 （追加）以下の記事で生成された各小説をすぐに読めるよう公開しました。 評価手法の検討評価の課題小説の評価には通常、人間による読解と評価が必要です。しかし、これには以下のような課題があります： 評価に多大な時間
最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日本語チャット性能がとても良いため、モデル作者さんが用いた手法（Chat Vector+MoEマージ）を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価日本語によるinstruction-tuningを行ったモデルの評価用データセットとして知られる「ELYZA-tasks-100」を用いて、ほかの有力な7Bクラスの日本語モデルとスコアを比較しました。 その結果、GPT-4による評価において既存の日本語7Bモデルより大幅に高いスコア（3.42）を示すことが確認できました。単純に
モデルプロバイダーの追加 モデルタイプを選択: 「ollama」を選択します。 必要な情報を入力: モデル名: llm-jp-13b-v2 Base URL: http://host.docker.internal:11434 Completion Mode: 「Chat」 モデルコンテキストサイズ: 4096 最大トークン数の上限: 4096 Vision Support: 「No」を選択 ワークフローの作成 4人のエージェントのシステムプロンプトを設定: 楽観的AI研究者、慎重派経済学者、AIジャーナリスト、倫理学者の4人のエージェントを作成します。 それぞれのシステムメッセージに、エージェントの立場と視点を反映した内容を設定します。例えば、楽観的AI研究者のシステムメッセージは以下のようになります。 あなたは楽観的なAI研究者です。以下のインプットに対して、AIの可能性を信じ、社会へ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gemma 3やQwQなどでローカルLLMがそろそろ使い物になってきた - きしだのHatena
DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編
【令和最新版】何もわからない人向けのローカル LLM 入門
逆に、すべてのローカルLLMは開発元をOpenAIだと思い込んでいる説
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
財布を気にしたくないのでローカルLLM(Gemma3)にコードを書かせてみた - MNTSQ Techブログ
DeepSeek推しのローカルLLM勢から見るDeepSeek｜Holy_fox
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
ローカルLLMに小説を書いてもらう v2｜Kohya S.
ChatGPTライクなUIのローカルLLMを構築できるGPT4Allとは？
ローカルLLMでzoltraakを動かせるか検証してみた
Ollamaを活用したDeepSeek-R1のローカルLLM構築ガイド
雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
ローカルLLMはこーやって使うの💢
ローカルLLM時代到来！Gemma 3の導入・活用ガイド(LMStudio)｜swiftwand.ai
準備0でローカルLLMを動かす(LM Studio)
ローカルLLMでbolt.newを動かしてみた
NVIDIA「Chat With RTX」を、RTX4060搭載ノートPCで動かす〜ローカルLLMでRAGを実現【イニシャルB】
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
第841回 ローカルLLMの実行ツール「Ollama」のGUIフロントエンド、Alpacaを使用して生成AIを使用する | gihyo.jp
ローカルLLMを用いたポートフォリオ生成アプリを作ってみた
ローカルLLMの小説生成能力を評価する：中規模モデル編｜Kohya S.
饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました｜Baku
DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2
rocketnews24.com
7-24blog.com
search.app
tantogameblog.com
anond.hatelabo.jp
www.cnn.co.jp