タグ

SLMとNPUに関するatelierMIRACLEのブックマーク (1)

  • 『RAM32GB搭載のCopilot+PC準拠パソコンで試したいLLM』

    こちらの過去の記事でも書いていますが、ローカル環境、自分が使っているパソコンでLLM大規模言語モデルやSLM小規模言語モデルを使う際は、VRAMやRAMの容量が重要になります。 NPUは、利用するソフトウェアが対応している必要がありますので、通常は、GPUを使うかGPUが無いときは、CPUのみでLLMなどを利用することになります。 この設定を簡単に行うことができるのが、LM Studioというソフトウェアです。 こちらの記事が、参考になると思います。 Stable Diffusion web UI(AUTOMATIC1111版)を使う人の中には、VRAMが8GB必要とか24GBあると良いとかという話をネットで見聞きした人も多いと思います。 ローカル環境で生成AIを使う人は、GPUの能力やVRAMの容量が、最大の関心事だと思います。 6月18日から発売されるASUSのSnapdragon X

    『RAM32GB搭載のCopilot+PC準拠パソコンで試したいLLM』
  • 1