llama cpp python whl fileの検索結果1 - 2 件 / 2件

• あとで読む

  📖 vLLMのコードを読んでみよう - ENGINEERING BLOG ドコモ開発者ブログ

  • 31 users
  • nttdocomo-developers.jp
  • テクノロジー
  • 2024/12/20

  こんにちは、NTTドコモR&D戦略部の門間です。 この記事では、vLLMのコードを追いつつその中身の動きに迫りたいと思います。 最近、業務やプライベートでLLM関連のいろいろを触っていますが、 OSSのコードリーディングを通じてLLMの推論処理への理解を深めたいというモチベーションです。 🤖 vLLMって? 📚 前提知識 Attention Is All You Need Paged Attention Continuous Batching 📦 vLLMの開発用インストール (Pythonコード開発のみ) Wheelのインストール リポジトリのクローン 起動確認 Pythonコードの改変 デバッガを使ったOSSのコードリーディングのススメ 🧩 vLLMのソフトウェアアーキテクチャ オンライン推論 : FastAPIサーバの立ち上げとEngineClientの生成 1. Engin

  • あとで読む

  
• あとで読む

  Running LLaMA 7B and 13B on a 64GB M2 MacBook Pro with llama.cpp

  • 23 users
  • til.simonwillison.net
  • テクノロジー
  • 2023/03/11

  Running LLaMA 7B and 13B on a 64GB M2 MacBook Pro with llama.cpp See also: Large language models are having their Stable Diffusion moment right now. Facebook's LLaMA is a "collection of foundation language models ranging from 7B to 65B parameters", released on February 24th 2023. It claims to be small enough to run on consumer hardware. I just ran the 7B and 13B models on my 64GB M2 MacBook Pro! I

  • c++
  • AI
  • あとで読む