GitHub - Mozilla-Ocho/llamafile: Distribute and run LLMs with a single file.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
機密情報も安心？ローカル実行可能なLLMでvscode開発環境を作る - Qiita
はじめに 皆さん、コーディング支援AIは使用していますか？ GitHub CopilotやCursorが人気ですが、機密情報取り扱いの問題もあり、業務への導入に二の足を踏む企業も多いようです。 そこで今回は、サーバーにデータを送信せず、完全オフラインで実行可能なオープンソースLLMを使用した開発環境を構築する方法を紹介します。 既に優秀な記事がいくつか出ておりますので、オープンソースLLMの比較は行いません。 ローカルで動くLLMを使用した開発環境の作り方 今回使用する環境は以下です。 OS: Ubuntu 22.04 LTS CPU: AMD Ryzen 5 5600u Memory: 16GB 1. llama.cppをインストールする llama.cppは、CPUのみでLLMを動かすことができるライブラリです。(詳しい説明はこちら) 通常、LLMを動かそうとすると高性能のGPUが必要
Fine-tuning | How-to guides
Full parameter fine-tuning is a method that fine-tunes all the parameters of all the layers of the pre-trained model.
ローカル環境でコード生成を使いたい 〜Continue+Llama.cpp+ELYZA-japanese-CodeLlamaを試してみた〜 - GMOインターネットグループ グループ研究開発本部
2024.01.12 ローカル環境でコード生成を使いたい 〜Continue+Llama.cpp+ELYZA-japanese-CodeLlamaを試してみた〜 ご覧頂きありがとうございます。グループ研究開発本部 AI 研究開発室の N.M.と申します。 ChatGPTをはじめAIに関する大きなムーブメントの起きた激動の2023年が終わり、2024年が始まりました。我々AI研究開発室も日々AI技術を追いかけています。昨年から話題になることの多いGitHub Copilotもその一つであり、特にコードの補完は非常に使い勝手もよく開発や解析のサポートに使うことができます。今回はなるべくローカルに閉じた状態で近しい環境が作れないか試してみたことを紹介します。最後までご覧いただければ幸いです。 TL;DR VSCodeのExtensionであるContinueとELYZA-japanese-Cod
VS Codeからllama.cpp/Code Llamaを使う（Continueプラグイン）
TL;DR Llama.cppでCode Llamaが使えるようになったので、VS Codeから使ってみる。copilot的なやつ。 前提 llama.cppはLAN内のサーバで動かす 理由 VSCodeを動かすマシンがやや非力なので、同じマシン内でLLMを動かしたくない GPUオフロードして高速に生成させたい サーバ側スペック CPU: Intel Core i9-13900F メモリ: 96GB GPU: NVIDIA GeForce RTX 4090 24GB モデルはcodellama-34b-instruct.Q4_K_M.ggufを使う cuBLASでGPUオフロード VS Codeは"Continue"プラグインを使う 設定変更でllama.cppを使える
Llamaindex を用いた社内文書の ChatGPT QA ツールをチューニングする - GMOインターネットグループ グループ研究開発本部
D.M.です。Llamaindex で ChatGPT と連携した社内文書の QA ツールを構築した際にハマったことを書いていきます。 ChatGPT に追加でデータを与える課題へのアプローチ 今回やりたいこと つくったもの システム構成 ユースケース はじめに書いたソースコード Llamaindex 処理フロー Llamaindex チューニング課題 元ネタのテキストファイルをベクター検索のチャンクに収まるように意味の塊にする 課題１ ベクター検索の2番目のドキュメントが正解だったりする問題 課題２ 複数のドキュメントを読ませると間違える確率が上がる問題 課題３ 失敗している理由がよくわからない問題 課題４ ときおり英語で返してくる問題 課題５ OpenAI API がタイムアウトする問題 Tips１ ローカルファイルを小さくしたい Tips２ 回答をもっと厳密にしたい ChatGPT
GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications
LlamaIndex (GPT Index) is a data framework for your LLM application. Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python: Starter: llama-index (https://pypi.org/project/llama-index/). A starter Python package that includes core LlamaIndex as well as a selection of inte
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - fboulnois/llama-cpp-docker: Run llama.cpp in a GPU accelerated Docker container
GitHub - BohdanPetryshyn/code-llama-fim-fine-tuning: Fill-in-the-middle fine-tuning for the Code Llama model 🦙
Meta Llama 3
llama-cpp-pythonを使ってGemmaモデルを使ったOpenAI互換サーバーを起動しSpring AIからアクセスする - IK.AM
LLaMA Pro: Progressive LLaMA with Block Expansion
llama-cpp-pythonを使ってローカルLLMでテキスト生成とOpenAI互換サーバーを立てる - IK.AM
How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources
Fine-tuning Alpaca and LLaMA: Training on a Custom Dataset | MLExpert - Crush Your Machine Learning interview