GitHub - Zuntan03/EasyLightChatAssistant: EasyLightChatAssistant は軽量で検閲や規制のないローカル日本語モデルのLightChatAssistant を、KoboldCpp で簡単にお試しする環境です。You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Sdff-Ltba/LightChatAssistant-2x7B · Hugging Face
","eos_token":"","pad_token":"","unk_token":"","use_default_system_prompt":true}},"createdAt":"2024-04-03T09:18:19.000Z","discussionsDisabled":false,"downloads":32,"downloadsAllTime":348,"id":"Sdff-Ltba/LightChatAssistant-2x7B","isLikedByUser":false,"inference":"not-popular-enough","lastModified":"2024-04-21T03:20:49.000Z","likes":41,"pipeline_tag":"text-generation","library_name":"transformers","
最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
株式会社サイバーエージェントの商用可能な独自日本語LLM「CyberAgentLM3」を Google Colaboratory で動かす - Qiita
株式会社サイバーエージェントの商用可能な独自日本語LLM「CyberAgentLM3」を Google Colaboratory で動かすGoogleColaboratoryサイバーエージェント生成AILLM はじめに 株式会社サイバーエージェントが公開した CyberAgentLM3-22B-Chat (CALM3-22B-Chat) を Google Colaboratory 上で動かします LLMの日本語能力を評価するNejumi LLM リーダーボード3においては、700億パラメータのMeta-Llama-3-70B-Instructと同等の性能となっており、スクラッチ開発のオープンな日本語LLMとしてはトップクラスの性能となります（2024年7月現在）。 225 億パラメーターで 700 億パラメーターと同等の性能ということで、精度が高いのはもちろん、かなりコスト効率が高いと言え
Google ColabでサクッとLLMを使ってみよう！ - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに こんにちは！ 今年も国内外様々な LLM(大規模言語モデル)が公開されましたね！ LLM の選定や調査・実験をする際、リソースの要求レベルが非常に高く、ローカル環境での実施はかなりハードルが高いですよね... そこで今回は、Google Colab（正式には Colaboratory）を利用して LLMを動かす方法を紹介します。 サクッと LLM を動かしたい時におすすめです！ はじめに Google Colab 基本的な使い方 エラーがでたときは？ セッションが多すぎるとき なぜかうまく動かない時 有料プランについて ほかにも使ってみる Google Colab Google Colab は、Google が提供している提供しているサービスで、ブラウザで Python を実行できるツールです。 機械学習の用途で利用されることが多く、操作も簡単です。 基本的な使い方 今回は、ca
ローカルでLLMの推論を実行するのにOllamaがかわいい
ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LocalNovelLLM-project - Google 検索