NPUを使ってローカル生成AI環境を作ってみましょう - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」

はじめに プロダクト技術本部の加藤（剛）と申します。 BIGLOBEは以前から生成AIを積極的に業務に活用しています。現状はクラウドサービスの生成AIを主軸に据えていますが、新しい技術や環境にも追随すべく、さまざまな検証を行っています。 先日、こちらの取り組みを通じて日本HP社から、「NPU（Neural Processing Unit）処理が45TOPS以上の性能」を持つノートPC「HP EliteBook X G1i 14 AI」をお借りする機会をいただきました。 最近では、CPUメーカー各社もAI機能に注力しており、ノートPCでも「NPU処理が45TOPS以上の性能」を持つ製品が市場に出ています。では、この性能を持つNPUでローカルLLM（生成AI）を動作させることは可能なのか？もし動作するなら、どの程度実用的なのか？といった点は、エンジニアとして非常に興味を引かれます。 そこで今回

[sh19910711]

"各社が、それぞれの仕様でNPUを提供 / 「Phi-4」「Qwen3」が利用できるようになったのは、‘‘OpenVINO 2025.2”から / NPUのメリットには「消費電力の低さ」 / Phi-4を使うには、現時点のNPUではややパフォーマンス不足"