タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Ollamaで体験する国産LLM入門
近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。 モデルパラメーターサイズDownloadMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run ll
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに！！！！？？？？はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P
Open WebUIを使ってみました。 https://openwebui.com/ 当初は「Ollama WebUI」という名前だったようですが、今はOpen WebUIという名前に変わっています。Ollama専用じゃなくなったということでしょう。OpenAIに対応済みです。 早速使ってみました。もちろんBedrockで。 6/11 続編を書きました。 環境構築 Dockerですんなり構築です。Bedrockに対応はしてないので、「LiteLLM」を使って対応させます。 環境変数でこのあたりを指定 Ollamaを無効化 LiteLLMのエンドポイントをOpenAIのエンドポイントとして登録 APIキーを登録（LiteLLMとの通信には不要ですが、未指定だとOpen WebUIが正しく動作しませんでした） services: open-webui: image: ghcr.io/open-
tl;drJSON Schema で指定したフォーマットで出力を制御可能になったよ cURL / Python / JavaScript のそれぞれで試してみたよ 具体的な実用例があったのでそれも動かしてみたよ 使う上での tips や今後どんな機能が追加されるかまとめたよ 公開されたブログの流れに準拠しつつ、意図がズレない範囲で翻訳、解説、コードの実行をしていきます。チュートリアルになっているので、よかったら手を動かして試してみてください。 Ollama が structured outputs をサポート。JSON Schema で定義したフォーマットに LLM の出力を制御するすることが可能になりました。Ollama の Python と JavaScript のそれぞれのライブラリにおいてもサポートするよう更新。 ブログでは structured outputs のユースケースとし
DeepSeek-R1は、ローカル環境での大規模言語モデル（LLM）の実行を可能にする強力なモデルです。Ollamaは、そのセットアップと実行を簡素化するツールとして最適です。この記事では、Ollamaを使用してDeepSeek-R1をローカルで実行する手順を説明します。 DeepSeek-R1をローカルで実行するためのOllamaセットアップ手順 1. システム要件の確認 オペレーティングシステム：macOS、Linux、またはWindows ハードウェア： RAM：最低8GB（推奨16GB以上） GPU：NVIDIA GPU（CUDA対応）を推奨。ただし、GPUがない場合でもCPUでの実行は可能ですが、パフォーマンスは低下します。 ディスク容量：モデルサイズに応じて10GB以上の空き容量 なお、今回はGPUを搭載していないノートPCでOllamaを実行しました。 2. Ollamaのイ
ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境（GPUの有無）に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました（感謝です）。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法（初心者向け） Ollama + Open WebUIでGUI付きで動かす方法（Dockerが分かる人向け） 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば
RAGの概要とその問題点 本記事では東京大学の松尾・岩澤研究室が開発したLLM、Tanuki-8Bを使って実用的なRAGシステムを気軽に構築する方法について解説します。最初に、RAGについてご存じない方に向けて少し説明します。 RAGは、簡単に説明すると外部知識（ナレッジ）をもとにLLMに回答させる技術です。特徴として、LLMが学習していないような知識に関してLLMに回答させることができます。回答も、外部知識を元とするため、事実に基づかない回答の生成（ハルシネーション）を減らす効果も期待できるため、ChatGPTをはじめとした大規模言語モデル（LLM）のユースケースとして、よく話題になっています。 具体例としては、会社の製品情報をナレッジとすることで、カスタマーサポートのチャットボットを作ったり、社内のノウハウやガイドをナレッジとすることで、社内サポートのチャットボットを作ることができます
ローカル環境で手軽に大規模言語モデル (LLM) を試せる Ollama と phi-4 モデル、そして VS Code の拡張機能である Cool Cline を組み合わせて、コード生成を行うメモです。WSL2でもできると思います。 環境 Ubuntu 24.04 Docker GeForce RTX 4060Ti(VRAM 16GB) VS Code Cool Cline 拡張機能 手順 DockerのインストールとNVIDIA Container Toolkitの設定 DockerでGPUを使えるようにします。以下の記事を参考にしました。 Ollamaの起動とphi-4モデルのダウンロード Ollamaのコンテナを起動します。モデルはコンテナの/root/.ollamaにダウンロードされるのでローカルの適当なフォルダをマウントします。ポートの11434はllamaからとってきてるみた
Ollama
Get up and running with large language models. Run Llama 3.3, Phi 3, Mistral, Gemma 2, and other models. Customize and create your own.
Ubuntu Weekly Recipe 第841回ローカルLLMの実行ツール「Ollama」のGUIフロントエンド、Alpacaを使用して生成AIを使用する 今回は、ローカルLLMの実行ツール「Ollama」のフロントエンド、Alpacaを紹介します。 Alpacaとは Ollamaに関しては第825回で紹介しました。そこではフロントエンドとして、Open WebUIを使いました。 もちろんOpen WebUIを使うのもいいのですが、Ollamaにはフロントエンドがたくさんあります。Ubuntuで動作するGUIフロントエンドはないかなと思って探してみたところ、Alpacaを発見しました（macOS向けがやたら充実している印象です）。 Alpacaは、Flatpakパッケージになっているので導入とアップデートが簡単で、PythonのGTK4バインディングを使用しているためUbunt
ローカルでLLMの推論を実行するのにOllamaがかわいい
ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速
ローカルで生成AIを実行できる環境を「Open WebUI」「Ollama」「Kubernetes」で構築してみよう
ローカルで生成AIを実行できる環境を「Open WebUI」「Ollama」「Kubernetes」で構築してみよう：クラウドサービスだけじゃない！ ローカルPCやサーバ、Kubernetesで生成AI（2） 気軽に試せるラップトップ環境で、チャットbotを提供するオールインワンの生成AI環境構築から始め、Kubernetesを活用した本格的なGPUクラスタの構築やモデルのファインチューニングまで解説する本連載。今回は、「Open WebUI」「Ollama」「Kubernetes」を活用して生成AIと対話できる環境をローカルで構築する方法を解説します。
Obsidian から Ollama を利用できる Local GPT プラグインを紹介します。 更新履歴： 2024.12.07: 推奨埋め込みモデルを BGE-M3 に変更 目次 概要 モデル 埋め込みモデル Local GPT のインストール 使用方法 標準アクション カスタムアクション コンテキスト生成の仕組み RAG 機能 コンテキストウィンドウの管理 効果的な活用方法 技術的背景 概要 Obsidianは、知識管理のための Markdown エディタです。入力は WYSIWYG 化されてはいませんが、レンダリングはインラインで行われます。 obsidian.md Obsidian の商用利用にはライセンス契約が必要です。詳細は以下を参照してください。 publish.obsidian.md Local GPT は、編集中のテキスト内に LLM の生成結果を取り込むことができるプ
GitHub - Bin-Huang/chatbox: User-friendly Desktop Client App for AI Models/LLMs (GPT, Claude, Gemini, Ollama...)
Local Data Storage 💾 Your data remains on your device, ensuring it never gets lost and maintains your privacy. No-Deployment Installation Packages 📦 Get started quickly with downloadable installation packages. No complex setup necessary! Support for Multiple LLM Providers ⚙️ Seamlessly integrate with a variety of cutting-edge language models: OpenAI (ChatGPT) Azure OpenAI Claude Google Gemini Pr
GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, and other large language models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - sigoden/aichat: All-in-one LLM CLI tool featuring Shell Assistant, Chat-REPL, RAG, AI Tools & Agents, with access to OpenAI, Claude, Gemini, Ollama, Groq, and more.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ollamaで Fugaku-LLM を動かす
昨日公開された Fugaku-LLM は珍しく公式が GGUF ファイルを配布してくれているので、これを使って手元の Macbook で動かしてみます。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも ollama コマンドを使えるようにしておきます。 ステップ1: Fugaku-LLM のファイルをダウンロードする からお好みのファイルを選びます。 とりあえず、一番サイズの小さい（おそらく量子化が一番効いている） 「Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf」を選びます。 の download ボタンからダウンロード。 ステップ2: Modelfile を作成する モデルファイルのダウンロードが終わったら、同じディレクトリに、Modelfile と
対話型TUIローカルLLM生成AIのOllamaを入れて遊んでみた。中身はllama.cpp。TUIがとても使いやすい。モデルがQ4量子化されていてコンパクト。LinuxとAndroid上のTermuxでも動いた。
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 対話型ローカルLLMのOllamaを入れてみた ダウンロードや実行が半自動式でターミナル操作できるTUIが売りのユーザーフレンドーリさ。量子化可 Pythonで組んだり、OpenAIキーも使える。 メモリの消費量はモデル次第かな。 github.com/ollama/ollama pic.twitter.com/AsAYr7gj5v 2024-02-14 06:32:01 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Ollamaのインストールは簡単。*BSDでは使えない。ターミナルから、 curl -fsSL ollama.com/install.sh | sh ollama run llama2 あとは自動でダウンロードして設定 sy
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 革新的な連携: ノーコードプラットフォームDifyとAIツールOllamaの連携により、開発プロセスが劇的に変革されます。 探求: この記事では、両ツールの統合手順と開発者にとっての利点を詳しく探ります。Difyの直感的なインターフェースを通じて、OllamaのAIモデルを効果的に活用する方法を紹介します。 Ollamaとは Ollamaは、LLama3やLLava、vicunaやPhiなどのオープンに公開されているモデルを手元のPCやサーバーで動かすことの出来るツールです。 difyとは DifyはオープンソースのLLMアプ
新しくでた中国AlibabaのローカルLLMモデルQwen2が超絶賢く日本語OK。僅か7BでChatGPT3.5を超える性能？llama.cppやOllamaで動作。驚異的な中国勢に驚きを隠せない性能
ぬこぬこ @schroneko Qwen 2 みんな触られましたかね？指示性能と知識えぐない...？0.5B の海外モデルで日本語話せるなんて聞いていないよ... 0.5B: huggingface.co/spaces/Qwen/Qw… 1.5B: huggingface.co/spaces/Qwen/Qw… 7B: huggingface.co/spaces/Qwen/Qw… 57b-a14b: huggingface.co/spaces/Qwen/Qw… 72B: huggingface.co/spaces/Qwen/Qw… pic.twitter.com/yKZM82TfW2 2024-06-07 12:57:23 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 ChatGPT3.5相当と噂されているQwen2 7B 日本語もばっち
Fugaku-LLMをollamaで利用する
国産LLMであるFugaku-LLMが2024-05-10に公開されました。 LLMのチャットアプリとしてインストールが簡単で人気のollamaに、Fugaku-LLMのモデルを登録して使うことができたので、その手順を紹介します。 動作確認環境 OS Ubuntu 22.04 Desktop および WSL上のUbuntu-22.04 ollama v0.1.34 （2024-05-10時点の最新バージョン） (1) ollamaをインストールする （まだollamaをインストールしていなければ） ollamaの公式サイトに行って「Download↓」をクリックし、 OSに応じたインストーラーを入手してインストールします。 （WSL上のUbuntu-22.04の場合はもちろんLinuxです） (2) Fugaku-LLMのGGUFファイルをダウンロードする Fugaku-LLMには2024
DeepSeek凄そう DeepSeekってやつが凄いみたいですね。周りの詳しい人には、取材依頼が殺到しているみたいです。私には取材は1つも来てないです（来ても困りますが）。 そんな私でも、たまにDeepSeekについて聞かれることがあるのですが、真面目な顔して「なんか凄そうですね」くらいしか言えなかったので、少し調べた上で実際に自分のPCで動かしてみることで、DeepSeekの能力を体感してみることにしました。 DeepSeekの情報 以下のshi3zさんの記事が、技術的、歴史的な経緯のポイントをおさえていて分かりやすいなと思います。 論文に関しては、正直全部しっかり読めていません。以下の論文まとめが詳しかったです。 危険性に関しては、何とも言えないですが、著名なAIエンジニアの安野さんが、レベルに分けて危険性を解説してくださっています。 私は、多分レベル2くらいなので、以下の文章を読ん
tl;drOllama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可 Fuck it! You can now run *any* GGUF on the Hugging Face Hub directly with @ollama 🔥 This has been a constant ask from the community, starting today you can point to any of the 45,0
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
🚀 Effortless Setup: Install seamlessly using Docker or Kubernetes (kubectl, kustomize or helm) for a hassle-free experience with support for both :ollama and :cuda tagged images. 🤝 Ollama/OpenAI API Integration: Effortlessly integrate OpenAI-compatible APIs for versatile conversations alongside Ollama models. Customize the OpenAI API URL to link with LMStudio, GroqCloud, Mistral, OpenRouter, and
ChatGPTをはじめとした生成AIにおけるここ数年の勃興は語るまでもありません。特にユーザーからの自然言語による対話をもとに文章を生成する仕組みは、すでに趣味や研究の範囲を超えて各分野の業務でも広く使われるようになりつつあります。その自然言語の理解と文章の生成に貢献している概念のひとつが、「LLM（Large Language Model：大規模言語モデル）」です。現在ではChatGPTで使われているGPTシリーズだけでなく、GoogleのGeminiやAnthropicのClaudeなど、規模の大小、目的問わずさまざまなLLMが登場しています。 今回はそんなLLMのうち個人でも利用可能で軽量なモデルの入門として、まずはUbuntu上で動かす方法について紹介しましょう。 図1 ollamaとOpen WebUIを使えばChatGPTっぽいUIからローカルLLMを使える ローカルLLMの
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 推論において優れた性能を発揮し、オープンソースであるため無料のAIを探しているなら、新しく立ち上げられたDeepSeek R1は素晴らしい選択です。これはGPT-4、o1-mini、Claude 3.5などのモデルと競争し、それを上回っています。テストした結果、非常に良いと感じました！ Visual Studio CodeでGitHub Copilotに似たコードエージェントとして直接使用し、コストをかけずに使用したい場合、LM Studio、Ollama、Janなどのツールを使ってその方法をお見せします。 最近なぜDeepS
この記事では、ローカルLLMの実行ツール「ollama」を活用して、Microsoftが開発した軽量言語モデル「Phi-3」をMac上で実行する手順を紹介します。 実行例 はじめに 2024年4月、スマートフォン単体でも実行できる軽量な言語モデルの「Phi-3」がMicrosoft社より発表されました。 このほかにも、Meta社の「Llama3」など、ローカル環境でも実行可能なLLMの選択肢が増えてきています。 そこで今回は、これらのLLMがどのような性能を発揮するのか、手元のMacBook Airで試してみることにしました。 この記事では、ローカルLLMの基礎知識や、実行までの手順を簡潔にまとめます。 （あくまで体感での性能確認にとどめており、定量的なベンチマークなどは行なっていません。） 環境 今回、ローカルLLMを実行した環境は以下のとおりです。おそらく、現在MacBookをお使いの
最近 ollama の名前をよく聞くようになったので、自分でも試してみることにしました。 結論として、とてもお手軽に CPU 環境でローカル LLM を動かすことができたので、今後は ollama も積極的に使っていきたいなと思います。 ollama とは？ ローカル LLM を動かすためのライブラリです。 LLM-jp-13B とは？ NII主催の団体 LLM-jp が開発している、日本語に特化したローカル LLM です。 日本では、まだ数の少ない、フルスクラッチで学習された日本語LLM[1]で、寛容な Apache-2.0 で提供されています。 ollama で LLM-jp-13B v2.0 を動かす ではさっそく始めていきましょう。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも
OllamaとOpenWebUIを使い、ローカル環境でGemma3を動かしてみました。4b以上のモデルであれば、次のように画像の入力もできます！ 前提条件 OllamaおよびOpenWebUIを使うために、今回はDockerを使いました。 ローカル環境のスペック 私のローカル環境はこんな感じのスペックです。2019年春に購入したものなので古く、メモリは多いですがGPU性能はあまりよくありません。なお、1bであればConoHa VPS 2GBのGPUなし環境でも動きましたので、軽さに感動しました。 CPU: Intel Core i9-9900K @ 3.60GHz Memory: 64GB GPU: NVIDIA GeForce GTX 1060 6GB OS: Windows 11 Pro 環境構築 open-web-uiというディレクトリに次のcompose.ymlを作成しました。なお
初心者でもできる！HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順 - uepon日々の備忘録
最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。 （2024.09.11）Ollamaに作成したGGUF形式のモデルをpullする方法のリンク
GitHub - lobehub/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design AI chat framework. Supports Multi AI Providers( OpenAI / Claude 3 / Gemini / Ollama / DeepSeek / Qwen), Knowledge Base (file upload / knowledge management / RAG ), Multi-Modals (Plug
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは、AIBridge Labのこばです🦙 無料で使えるオープンソースの最強LLM「Llama3」について、前回の記事ではその概要についてお伝えしました。 今回は、実践編ということでOllamaを使ってLlama3をカスタマイズする方法を初心者向けに解説します！ 一緒に、自分だけのAIモデルを作ってみましょう。もし途中で上手くいかない時やエラーが出てしまう場合は、コメントを頂ければできるだけ早めに返答したいと思います。 1.この記事で行っていること主に以下の3つの工程について説明しています。 ローカル環境のLlama3 8Bモデルを使う🦙 埋め込み(Embeddings)を使って知識追加📚 モデルのカスタマイズ🔧 2.今回のゴールちょっとだけ複雑なタスクの例として 「テーマに沿った画像生成用プロンプトを出力するカスタムモデル」を作ることを目標とします。(一応Midjourne
Ollama で Elyza-7B を試す｜npaka
2. Ollama での Llama2 の実行はじめに、「Ollama」で「Llama2」を試してみます。 (1) Ollamaのサイトからインストーラをダウンロードしてインストール。 (2) モデルの実行。 初回はモデルをダウンロードするため時間かかりますか、2回目以降は高速起動します。 $ ollama run llama2:7b-chat(3) プロンプト (>>>) に質問を入力。 「Llama2」は英語モデルのため、英語で質問を入力します。 >>> Who is the cutest in Madoka Magica? In Puella Magi Madoka Magica, there are several characters who are considered cute by many fans. However, it's important to remember
が、エラーになってしまう。 ちなみにClaude-3.5-Sonnetだとこんな感じで、ファイル作成してプレビューまで問題なく行われる。 Claude-3.5-Sonnetに最適化されているとあるし、しょうがないのかな？と思いつつも、そもそもタスクを正しく認識していないように見える。調べてみると以下のIssueを見つけた。 Cline用のカスタムなQwen2.5-Coderモデルを作っている方がいる様子。確かにキャプチャを見る限りは動いているように見える。モデルは以下。 こちらの方のモデルをダウンロード。
Cursor EditorでOllamaを使う
はじめに Cursor Editorすごいですよね！ ChatGPTとの連携が強力で、コーディングの体験がとても良いです。 また、昨今ではChatGPT対抗のLocal LLMの開発も盛んです。 特にOllamaを使うと、Local LLMをとても簡単に使うことができます。 最近では Command R Command R+ Llama3 など、一部GPT-4を超える性能を持つモデルも登場しています。 Local LLMの魅力はなんといってもその種類の豊富さ、そして無料で使えることです。 しかし、Cursor EditorではそのままではOllamaを使うことができません。 CursorでOpenAI以外のLLM Providerを使うには そもそもCursor Editorは以下のProviderに対応しています。 OpenAI Claude Azure OpenAI しかし、世の中には
はじめに Vercel AI SDK (React 等から LLM の API をいい感じに stream で呼び出せるようにするやつ) から Ollama （OSS の LLM をローカルで動かすやつ） を呼び出す方法を調べました。 参考 課題 Vercel AI SDK の サンプルコードを、OpenAI から Ollama の langchain のモデルを使って、置き換えて動かそうとしたけど、なぜかうまくいかなかった。 解決方法 ここのディスカッションにいろんな解決方法が記載されている。その中からいくつか試した。 解決方法 1 OpenAI Compatibility API を使う OpenAI API と同じ API で呼び出す方法。呼び出せるモデルに制約がある。マルチモーダルの llava は呼び出せない。 URL 変えるくらい。シンプル。すんなり動いた。 解決方法 2 la
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場
「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita
Open WebUI (Formerly Ollama WebUI) がすごい - Qiita
Ollama で structured outputs （構造化出力）を試す｜ぬこぬこ
Ollamaを活用したDeepSeek-R1のローカルLLM構築ガイド
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
プロ御用達の無償SQLクライアント「A5:SQL Mk-2」も生成AI対応、ベータテストが開始【7月29日追記】／「ChatGPT」や「Gemini」、「Azure OpenAI」、「Ollama」が利用可能、割と実用的【やじうまの杜】
Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築
Ollama + phi-4 + Cool Cline を使いローカルでコード生成を試す
第841回 ローカルLLMの実行ツール「Ollama」のGUIフロントエンド、Alpacaを使用して生成AIを使用する | gihyo.jp
Obsidian の Local GPT プラグインで Ollama を利用 - 七誌の開発日記
ノーコードLLM統合アプリのdifyでollamaと連携してみた - Qiita
DeepSeekが凄そうなのでOllamaを使ってローカルで動かして体感してみた
Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ
「Delphi」「C++Builder」にもAI支援 ～ChatGPT、Gemini、Claude、Ollamaを統合／Embarcadero、「RAD Studio 12.2 Athens」を提供開始
第825回 ローカルLLMの実行ツールであるOllamaをUbuntuで動かす | gihyo.jp
LM StudioとOllamaで動くDeepSeek R1の力を体験 - Qiita
【ollama / Phi-3】ニュースで話題のLLMをローカルPC上で動かしてみる
ollamaで LLM-jp-13B v2.0 を動かす
Gemma3をローカル環境のDockerで動かす（Ollama+OpenWebUI）
Ollamaを使ってLlama3をカスタマイズしてみた(初心者向け解説)｜AI-Bridge Lab
Qwen2.5-CoderをOllama＋Clineで試す
Vercel AI SDK で Ollama を使う方法
www.city.hachioji.tokyo.jp
www.tantei007.com
mxb.nikkei.com
x.com
karapaia.com
mxb.nikkei.com