並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 59件

新着順 人気順

ollamaの検索結果1 - 40 件 / 59件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

ollamaに関するエントリは59件あります。 LLMAI人工知能 などが関連タグです。 人気エントリには 『M1MacでOllamaを試したら爆速で驚いた』などがあります。
  • M1MacでOllamaを試したら爆速で驚いた

    はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック: Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました! 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です! Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ

      M1MacでOllamaを試したら爆速で驚いた
    • Ollamaで体験する国産LLM入門

      近年、AIの中でも大規模言語モデル(LLM)の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす(推論する)だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア(OSS)でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな

        Ollamaで体験する国産LLM入門
      • さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場

        「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。 モデルパラメーターサイズDownloadMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run ll

          さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場
        • 「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita

          はじめに こんにちは、KDDIアジャイル開発センターのはしもと(仮名)です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに!!!!????はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P

            「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita
          • Open WebUI (Formerly Ollama WebUI) がすごい - Qiita

            Open WebUIを使ってみました。 https://openwebui.com/ 当初は「Ollama WebUI」という名前だったようですが、今はOpen WebUIという名前に変わっています。Ollama専用じゃなくなったということでしょう。OpenAIに対応済みです。 早速使ってみました。もちろんBedrockで。 6/11 続編を書きました。 環境構築 Dockerですんなり構築です。Bedrockに対応はしてないので、「LiteLLM」を使って対応させます。 環境変数でこのあたりを指定 Ollamaを無効化 LiteLLMのエンドポイントをOpenAIのエンドポイントとして登録 APIキーを登録(LiteLLMとの通信には不要ですが、未指定だとOpen WebUIが正しく動作しませんでした) services: open-webui: image: ghcr.io/open-

              Open WebUI (Formerly Ollama WebUI) がすごい - Qiita
            • Ollama + Open WebUI でローカルLLMを手軽に楽しむ

              ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境(GPUの有無)に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました(感謝です)。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法(初心者向け) Ollama + Open WebUIでGUI付きで動かす方法(Dockerが分かる人向け) 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば

                Ollama + Open WebUI でローカルLLMを手軽に楽しむ
              • Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築

                RAGの概要とその問題点 本記事では東京大学の松尾・岩澤研究室が開発したLLM、Tanuki-8Bを使って実用的なRAGシステムを気軽に構築する方法について解説します。最初に、RAGについてご存じない方に向けて少し説明します。 RAGは、簡単に説明すると外部知識(ナレッジ)をもとにLLMに回答させる技術です。特徴として、LLMが学習していないような知識に関してLLMに回答させることができます。回答も、外部知識を元とするため、事実に基づかない回答の生成(ハルシネーション)を減らす効果も期待できるため、ChatGPTをはじめとした大規模言語モデル(LLM)のユースケースとして、よく話題になっています。 具体例としては、会社の製品情報をナレッジとすることで、カスタマーサポートのチャットボットを作ったり、社内のノウハウやガイドをナレッジとすることで、社内サポートのチャットボットを作ることができます

                  Tanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築
                • ローカルでLLMの推論を実行するのにOllamaがかわいい

                  ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速

                    ローカルでLLMの推論を実行するのにOllamaがかわいい
                  • Ollama

                    Get up and running with large language models. Run Llama 3.1, Phi 3, Mistral, Gemma 2, and other models. Customize and create your own.

                      Ollama
                    • GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                        GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.
                      • 対話型TUIローカルLLM生成AIのOllamaを入れて遊んでみた。中身はllama.cpp。TUIがとても使いやすい。モデルがQ4量子化されていてコンパクト。LinuxとAndroid上のTermuxでも動いた。

                        中身はllama.cppなので、基本的な挙動は同じです。コマンドライン向けのUIが便利です。 Phi-2など小さいモデルなら低スペック用、高スペック用など使い分けして使えます。

                          対話型TUIローカルLLM生成AIのOllamaを入れて遊んでみた。中身はllama.cpp。TUIがとても使いやすい。モデルがQ4量子化されていてコンパクト。LinuxとAndroid上のTermuxでも動いた。
                        • ノーコードLLM統合アプリのdifyでollamaと連携してみた - Qiita

                          はじめに 革新的な連携: ノーコードプラットフォームDifyとAIツールOllamaの連携により、開発プロセスが劇的に変革されます。 探求: この記事では、両ツールの統合手順と開発者にとっての利点を詳しく探ります。Difyの直感的なインターフェースを通じて、OllamaのAIモデルを効果的に活用する方法を紹介します。 Ollamaとは Ollamaは、LLama3やLLava、vicunaやPhiなどのオープンに公開されているモデルを手元のPCやサーバーで動かすことの出来るツールです。 difyとは DifyはオープンソースのLLMアプリ開発プラットフォームです。 RAGエンジンを使用して、エージェントから複雑なAIワークフローまでLLMアプリを編成します。 前提の環境の説明 OS: Windows 11 ollamaはWinodowsのインストーラを使用する difyはDocker De

                            ノーコードLLM統合アプリのdifyでollamaと連携してみた - Qiita
                          • ollamaで Fugaku-LLM を動かす

                            昨日公開された Fugaku-LLM は珍しく公式が GGUF ファイルを配布してくれているので、これを使って手元の Macbook で動かしてみます。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも ollama コマンドを使えるようにしておきます。 ステップ1: Fugaku-LLM のファイルをダウンロードする からお好みのファイルを選びます。 とりあえず、一番サイズの小さい(おそらく量子化が一番効いている) 「Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf」を選びます。 の download ボタンからダウンロード。 ステップ2: Modelfile を作成する モデルファイルのダウンロードが終わったら、同じディレクトリに、Modelfile と

                              ollamaで Fugaku-LLM を動かす
                            • Fugaku-LLMをollamaで利用する

                              国産LLMであるFugaku-LLMが2024-05-10に公開されました。 LLMのチャットアプリとしてインストールが簡単で人気のollamaに、Fugaku-LLMのモデルを登録して使うことができたので、その手順を紹介します。 動作確認環境 OS Ubuntu 22.04 Desktop および WSL上のUbuntu-22.04 ollama v0.1.34 (2024-05-10時点の最新バージョン) (1) ollamaをインストールする (まだollamaをインストールしていなければ) ollamaの公式サイトに行って「Download↓」をクリックし、 OSに応じたインストーラーを入手してインストールします。 (WSL上のUbuntu-22.04の場合はもちろんLinuxです) (2) Fugaku-LLMのGGUFファイルをダウンロードする Fugaku-LLMには2024

                                Fugaku-LLMをollamaで利用する
                              • 新しくでた中国AlibabaのローカルLLMモデルQwen2が超絶賢く日本語OK。僅か7BでChatGPT3.5を超える性能?llama.cppやOllamaで動作。驚異的な中国勢に驚きを隠せない性能

                                どんどん賢くなるローカルLLM界隈最新モデル。0.5BまであるのはRaspberryPiでも動くので凄い。どんどん進化して普通に喋れる様になると手軽に作業代替え出来るかも???

                                  新しくでた中国AlibabaのローカルLLMモデルQwen2が超絶賢く日本語OK。僅か7BでChatGPT3.5を超える性能?llama.cppやOllamaで動作。驚異的な中国勢に驚きを隠せない性能
                                • 「Delphi」「C++Builder」にもAI支援 ~ChatGPT、Gemini、Claude、Ollamaを統合/Embarcadero、「RAD Studio 12.2 Athens」を提供開始

                                    「Delphi」「C++Builder」にもAI支援 ~ChatGPT、Gemini、Claude、Ollamaを統合/Embarcadero、「RAD Studio 12.2 Athens」を提供開始
                                  • Ollama で Hugging Face Hub の GGUF をそのまま使ってみる|ぬこぬこ

                                    tl;drOllama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可 Fuck it! You can now run *any* GGUF on the Hugging Face Hub directly with @ollama 🔥 This has been a constant ask from the community, starting today you can point to any of the 45,0

                                      Ollama で Hugging Face Hub の GGUF をそのまま使ってみる|ぬこぬこ
                                    • 【ollama / Phi-3】ニュースで話題のLLMをローカルPC上で動かしてみる

                                      この記事では、ローカルLLMの実行ツール「ollama」を活用して、Microsoftが開発した軽量言語モデル「Phi-3」をMac上で実行する手順を紹介します。 実行例 はじめに 2024年4月、スマートフォン単体でも実行できる軽量な言語モデルの「Phi-3」がMicrosoft社より発表されました。 このほかにも、Meta社の「Llama3」など、ローカル環境でも実行可能なLLMの選択肢が増えてきています。 そこで今回は、これらのLLMがどのような性能を発揮するのか、手元のMacBook Airで試してみることにしました。 この記事では、ローカルLLMの基礎知識や、実行までの手順を簡潔にまとめます。 (あくまで体感での性能確認にとどめており、定量的なベンチマークなどは行なっていません。) 環境 今回、ローカルLLMを実行した環境は以下のとおりです。おそらく、現在MacBookをお使いの

                                        【ollama / Phi-3】ニュースで話題のLLMをローカルPC上で動かしてみる
                                      • ollamaで LLM-jp-13B v2.0 を動かす

                                        最近 ollama の名前をよく聞くようになったので、自分でも試してみることにしました。 結論として、とてもお手軽に CPU 環境でローカル LLM を動かすことができたので、今後は ollama も積極的に使っていきたいなと思います。 ollama とは? ローカル LLM を動かすためのライブラリです。 LLM-jp-13B とは? NII主催の団体 LLM-jp が開発している、日本語に特化したローカル LLM です。 日本では、まだ数の少ない、フルスクラッチで学習された日本語LLM[1]で、寛容な Apache-2.0 で提供されています。 ollama で LLM-jp-13B v2.0 を動かす ではさっそく始めていきましょう。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも

                                          ollamaで LLM-jp-13B v2.0 を動かす
                                        • 初心者でもできる!HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順 - uepon日々の備忘録

                                          最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何?って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。 (2024.09.11)Ollamaに作成したGGUF形式のモデルをpullする方法のリンク

                                            初心者でもできる!HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順 - uepon日々の備忘録
                                          • 第825回 ローカルLLMの実行ツールであるOllamaをUbuntuで動かす | gihyo.jp

                                            ChatGPTをはじめとした生成AIにおけるここ数年の勃興は語るまでもありません。特にユーザーからの自然言語による対話をもとに文章を生成する仕組みは、すでに趣味や研究の範囲を超えて各分野の業務でも広く使われるようになりつつあります。その自然言語の理解と文章の生成に貢献している概念のひとつが、「⁠LLM(Large Language Model:大規模言語モデル)」です。現在ではChatGPTで使われているGPTシリーズだけでなく、GoogleのGeminiやAnthropicのClaudeなど、規模の大小、目的問わずさまざまなLLMが登場しています。 今回はそんなLLMのうち個人でも利用可能で軽量なモデルの入門として、まずはUbuntu上で動かす方法について紹介しましょう。 図1 ollamaとOpen WebUIを使えばChatGPTっぽいUIからローカルLLMを使える ローカルLLMの

                                              第825回 ローカルLLMの実行ツールであるOllamaをUbuntuで動かす | gihyo.jp
                                            • Ollamaを使ってLlama3をカスタマイズしてみた(初心者向け解説)|AI-Bridge Lab こば

                                              こんにちは、AIBridge Labのこばです🦙 無料で使えるオープンソースの最強LLM「Llama3」について、前回の記事ではその概要についてお伝えしました。 今回は、実践編ということでOllamaを使ってLlama3をカスタマイズする方法を初心者向けに解説します! 一緒に、自分だけのAIモデルを作ってみましょう。もし途中で上手くいかない時やエラーが出てしまう場合は、コメントを頂ければできるだけ早めに返答したいと思います。 1.この記事で行っていること主に以下の3つの工程について説明しています。 ローカル環境のLlama3 8Bモデルを使う🦙 埋め込み(Embeddings)を使って知識追加📚 モデルのカスタマイズ🔧 2.今回のゴールちょっとだけ複雑なタスクの例として 「テーマに沿った画像生成用プロンプトを出力するカスタムモデル」を作ることを目標とします。(一応Midjourne

                                                Ollamaを使ってLlama3をカスタマイズしてみた(初心者向け解説)|AI-Bridge Lab こば
                                              • GitHub - lobehub/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design AI chat framework. Supports Multi AI Providers( OpenAI / Claude 3 / Gemini / Ollama / Azure / DeepSeek), Knowledge Base (file upload / knowledge management / RAG ), Multi-Modals (Vis

                                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                  GitHub - lobehub/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design AI chat framework. Supports Multi AI Providers( OpenAI / Claude 3 / Gemini / Ollama / Azure / DeepSeek), Knowledge Base (file upload / knowledge management / RAG ), Multi-Modals (Vis
                                                • Ollama で Elyza-7B を試す|npaka

                                                  2. Ollama での Llama2 の実行はじめに、「Ollama」で「Llama2」を試してみます。 (1) Ollamaのサイトからインストーラをダウンロードしてインストール。 (2) モデルの実行。 初回はモデルをダウンロードするため時間かかりますか、2回目以降は高速起動します。 $ ollama run llama2:7b-chat(3) プロンプト (>>>) に質問を入力。 「Llama2」は英語モデルのため、英語で質問を入力します。 >>> Who is the cutest in Madoka Magica? In Puella Magi Madoka Magica, there are several characters who are considered cute by many fans. However, it's important to remember

                                                    Ollama で Elyza-7B を試す|npaka
                                                  • Vercel AI SDK で Ollama を使う方法

                                                    はじめに Vercel AI SDK (React 等から LLM の API をいい感じに stream で呼び出せるようにするやつ) から Ollama (OSS の LLM をローカルで動かすやつ) を呼び出す方法を調べました。 参考 課題 Vercel AI SDK の サンプルコードを、OpenAI から Ollama の langchain のモデルを使って、置き換えて動かそうとしたけど、なぜかうまくいかなかった。 解決方法 ここのディスカッションにいろんな解決方法が記載されている。その中からいくつか試した。 解決方法 1 OpenAI Compatibility API を使う OpenAI API と同じ API で呼び出す方法。呼び出せるモデルに制約がある。マルチモーダルの llava は呼び出せない。 URL 変えるくらい。シンプル。すんなり動いた。 解決方法 2 la

                                                      Vercel AI SDK で Ollama を使う方法
                                                    • GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

                                                      🚀 Effortless Setup: Install seamlessly using Docker or Kubernetes (kubectl, kustomize or helm) for a hassle-free experience with support for both :ollama and :cuda tagged images. 🤝 Ollama/OpenAI API Integration: Effortlessly integrate OpenAI-compatible APIs for versatile conversations alongside Ollama models. Customize the OpenAI API URL to link with LMStudio, GroqCloud, Mistral, OpenRouter, and

                                                        GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)
                                                      • DifyとOllamaを使ってMacのローカルで動く業務用LLM-AIツールを作成する

                                                        はじめに この記事はDifyを使った業務用AIツールの開発方法をまとめたものです。 Macのローカル環境上でテキスト分類器を作成することをゴールとしており、 環境構築から実装までを初心者向けに最初から解説しています。 環境構築 モデルの入手 モデルは商用利用可能なElyzaを利用します。 公式が量子化(軽量化)済みのGGUF版を提供してくださっているのでそちらを使用します。 以下のURLのFiles and Versionsからggufファイルをダウンロードしておいてください。 Ollamaの準備 LLMはollama上で動かします。以下の手順に従ってollamaのインストール後、elyzaを起動しておいてください。 ollamaのインストール 以下のURLよりollamaをインストールします。インストール後に起動するとステータスバーにllamaのアイコンが現れます。 ダウンロードURL

                                                          DifyとOllamaを使ってMacのローカルで動く業務用LLM-AIツールを作成する
                                                        • 【Ollama】自宅サーバーでかんたんにローカルLLMを動かす方法*

                                                          こんにちは、1日16時間以上はAIを触っている株式会社FP16の二宮です。 (FP16だけに...?笑) 「OpenAIやMicrosoftにずっとお金を払っていたくない!」 「自分たちで管理できる場所で実行したい!」 と思うことはありませんか? 今回はそんな方へ向けての記事です。 Ollamaとは? 今回はOllamaというこれからローカルでLLMを動かすなら必ず使うべきツールについて紹介します。 Ollamaは、LLama2やLLava、vicunaやPhiなどのオープンに公開されているモデルを手元のPCやサーバーで動かすことの出来るツールです。 LinuxとmacOSに対応しており、WindowsでもWSLを使うことで動かすことが出来ます。(Windowsも今後対応予定) OllamaはCLI又はAPIで使うことができ、そのAPIを使ってオープンソースでOllama WebUIも開発

                                                            【Ollama】自宅サーバーでかんたんにローカルLLMを動かす方法*
                                                          • オープンソースのLLMをローカルで実行できる「Ollama」Windowsプレビュー版、公開

                                                            Ollama Projectは2024年2月15日(米国時間)、オープンソースの大規模言語モデル(LLM)をローカル環境で実行できる「Ollama」のWindowsプレビュー版を公開した。 Ollamaは、「Llama 2」「Mistral」「Gemma」などの大規模言語モデルのダウンロード、実行、作成、カスタマイズができるオープンソースのツールだ。 Ollamaの特徴 ハードウェアアクセラレーション Ollamaは、NVIDIA GPUやIntel AVX(Intel Advanced Vector Extensions)/AVX2などのCPU命令セットを使用してモデルの実行を高速化するハードウェアアクセラレーションに対応している。同機能は既にOllamaに組み込まれており、追加の設定や仮想化は不要だ。 関連記事 Google、商用利用可能な軽量オープンAIモデル「Gemma」を公開 G

                                                              オープンソースのLLMをローカルで実行できる「Ollama」Windowsプレビュー版、公開
                                                            • GitHub - Bin-Huang/chatbox: User-friendly Desktop Client App for AI Models/LLMs (GPT, Claude, Gemini, Ollama...)

                                                              Local Data Storage 💾 Your data remains on your device, ensuring it never gets lost and maintains your privacy. No-Deployment Installation Packages 📦 Get started quickly with downloadable installation packages. No complex setup necessary! Support for Multiple LLM Providers ⚙️ Seamlessly integrate with a variety of cutting-edge language models: OpenAI (ChatGPT) Azure OpenAI Claude Google Gemini Pr

                                                                GitHub - Bin-Huang/chatbox: User-friendly Desktop Client App for AI Models/LLMs (GPT, Claude, Gemini, Ollama...)
                                                              • ローカルにWebUI付きLLM環境を構築 with Ollama|JAP

                                                                Ollama と Open WebUI を組み合わせて ChatGTP ライクな対話型 AI をローカルに導入する手順を解説します。 完成図(これがあなたのPCでサクサク動く!?) 環境この記事は以下の環境で動作確認を行っています。 OS Windows 11 Home 23H2 CPU 13th Gen Intel(R) Core(TM) i7-13700F 2.10 GHz RAM 32.0 GB GPU NVIDIA GeForce RTX 4070 Ti 専用 GPU メモリ 12.0 GB 共有 GPU メモリ 15.9 GB WSL2 Ubuntu 22.04.3 LTS Ubuntu と Docker のインストールWindows11 に WSL2 を使って Ubuntu をインストールします。 環境の構築は Terminal ( CLI ) で行います。 Ubuntu のイ

                                                                  ローカルにWebUI付きLLM環境を構築 with Ollama|JAP
                                                                • GitHub - mediar-ai/screenpipe: Library to build personalized AI powered by what you've seen, said, or heard. Works with Ollama. Alternative to Rewind.ai. Open. Secure. You own your data. Rust.

                                                                  ___ ___ _ __ ___ ___ _ __ _ __ (_)_ __ ___ / __|/ __| '__/ _ \/ _ \ '_ \| '_ \| | '_ \ / _ \ \__ \ (__| | | __/ __/ | | | |_) | | |_) | __/ |___/\___|_| \___|\___|_| |_| .__/|_| .__/ \___| |_| |_| Latest News 🔥 [2024/08] We're running bounties! Contribute to screenpipe & make money, check issues [2024/08] Audio input & output now works perfect on Windows, Linux, MacOS (<15.0). We also support mul

                                                                    GitHub - mediar-ai/screenpipe: Library to build personalized AI powered by what you've seen, said, or heard. Works with Ollama. Alternative to Rewind.ai. Open. Secure. You own your data. Rust.
                                                                  • 【LLM】Ollama+Open WebUIでローカルLLM環境を構築

                                                                    Ollamaは、様々なLLMモデルをローカルPCで動かすことができる無料のツールです。 この記事では、OllamaとOpen WebUIを使用して、ChatGPTのようなインターフェースでテキストを生成する方法を紹介します。 Ollama・Open WebUIとはOllamaは、LLMモデルをローカルPCで動かすことができる無料のツールです。 MetaのLlama3やGoogleのGemmaなど様々なLLMモデルをOllamaにダウンロードしてローカル環境で利用できます。 Open WebUIは、Ollama用のWebインターフェースです。 Ollama単体ではコマンドラインでプロンプトを入力することになりますが、Ollama+Open WebUIを使用することで、ChatGPTのようなインターフェースでテキスト生成が可能です。 ローカルPC(Windows)を使用する場合 ローカルPC(

                                                                      【LLM】Ollama+Open WebUIでローカルLLM環境を構築
                                                                    • llama3をollamaを使って手元のPCで動かしRubyのFizzBuzzを書かせる - Qiita

                                                                      とても簡単である。これだけでllama3を試すことができる。 GPUがなくても十分に実用な速度で動きます! llama3:70b も試すことができるが、流石に普通のデスクトップコンピューターだと重い。モデルも40GBあるから、ノートパソコンだと動かしづらいかもしれない。 少し試した印象だと決して日本語は得意ではないので、英語での利用が推奨される。 ちなみにQiitaのことは知っている。 llama3 の場合 llama3:70b の場合 情報の信憑性はほとんど期待できないが、それらしい文章を書く能力は優秀そうだ。 FizzBuzz プログラミングの課題も少しやってもらう。 ここではRubyでFizzBuzzを書いてもらった。 llama3 の場合 llama3:70b の場合 このぐらいの難易度の課題であればさくっとやってくれそうである。 コード生成とローカルLLM AIのプログラミング能

                                                                        llama3をollamaを使って手元のPCで動かしRubyのFizzBuzzを書かせる - Qiita
                                                                      • OSSのAIインフラ「Ollama」にリモートコード実行の脆弱性 急ぎアップデートを

                                                                        米国のセキュリティ企業Wizは2024年6月24日(現地時間)、オープンソースソフトウェア(OSS)のAIインフラストラクチャプラットフォームである「Ollama」に重大な脆弱(ぜいじゃく)性があることを伝えた。 GitHub人気プロジェクト「Ollama」に重大な脆弱性が発覚 Ollamaは「GitHub」や「Docker Hub」で人気があるOSSのAIインフラストラクチャプラットフォームだ。AIモデルのパッケージ化と展開を簡素化するために設計されている。 この脆弱性はCVE-2024-37032として特定されており「Probllama」と呼ばれている。これが悪用されると任意のファイルが上書きされ、最終的にリモートコード実行(RCE)が可能になるとされている。問題が修正されたバージョンが既に公開されておりアップデートすることが求められる。 同脆弱性の影響を受けるバージョンは以下の通りだ

                                                                          OSSのAIインフラ「Ollama」にリモートコード実行の脆弱性 急ぎアップデートを
                                                                        • ollamaによるローカルLLMで、テキスト生成、マルチモーダル推論、Embeddingを試してみた - Qiita

                                                                          ollamaはオープンソースの大規模言語モデル(LLM)をローカルで実行できるOSSツールです。様々なテキスト推論・マルチモーダル・Embeddingモデルを簡単にローカル実行できるということで、どれくらい簡単か?実際に使えそうか?試してみました。 検証環境 本記事は以下を使用しての検証になります。 ローカル環境 端末 Mac ollamaアプリ ollama 0.1.32 その他 curl Node.js v20.11.1 0. セットアップ ollama公式ページからダウンロードし、アプリケーションディレクトリに配置します。 アプリケーションを開くと、ステータスメニューバーにひょっこりと可愛いラマのアイコンが表示され、ollama コマンドが使えるようになります。 1. 使い方 1-1. テキスト生成モデル 代表的なテキスト生成モデル gemma Google社が公開している、Gemi

                                                                            ollamaによるローカルLLMで、テキスト生成、マルチモーダル推論、Embeddingを試してみた - Qiita
                                                                          • ollama/docs/faq.md at main · ollama/ollama

                                                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                              ollama/docs/faq.md at main · ollama/ollama
                                                                            • Ollamaですごく簡単にLLMを動かせたけど…

                                                                              ※ 今回の画像は DALL E3 で作ってみた。Transformer を ChatGPT に説明させて、その要旨を短く拾い上げ(これは自分でやった)、それを元に画像生成の指示とした。 まとめとにかくでかい 環境AppleSillicon Mac メモリ 16GBmacOS 13.6colima 0.6.7 ( limactl 0.19.1 )docker 24.0.2 ( via Homebrew )Ollama 0.1.15llama.cpp 1709 (ea5497d) built with clang-1403.0.22.14.1 for arm64やったこと / できたことローカルで LLM を動かすために Ollama を動かしてみた。めちゃくちゃ簡単だったneural-chat モデルを pull して動かした → おぉ、なんかそれっぽいチャットができる!Hugging Fa

                                                                              • GitHub - ozgrozer/ai-renamer: A Node.js CLI that uses Ollama and LM Studio models (Llava, Gemma, Llama etc.) to intelligently rename files by their contents

                                                                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                                  GitHub - ozgrozer/ai-renamer: A Node.js CLI that uses Ollama and LM Studio models (Llava, Gemma, Llama etc.) to intelligently rename files by their contents
                                                                                • Python & JavaScript Libraries · Ollama Blog

                                                                                  Python & JavaScript Libraries January 23, 2024 The initial versions of the Ollama Python and JavaScript libraries are now available: Ollama Python Library Ollama JavaScript Library Both libraries make it possible to integrate new and existing apps with Ollama in a few lines of code, and share the features and feel of the Ollama REST API. Getting Started Python pip install ollama import ollama resp

                                                                                    Python & JavaScript Libraries · Ollama Blog

                                                                                  新着記事