ローカルLLM"Phi-3"をWindows CPUで動かす
はじめに おれの名前は樋口恭介。Phi-3というMicrosoftから2024年4月23日にリリースされた小規模LLMが、ギリCPUでも動くうえにGPT-3.5よりも精度が高いということで、触ってみることにした。 まずはGoogle Colab上でCPUを選択し、動きを確認したところ、通常モデルでも20分～30分程度で、かなり精度が高い回答が得られ、4bit量子化モデルだと、2分～3分程度で、それなりの出力が得られることがわかった。 そこで、気分がもりあがってきたので、自身のローカルPC（Windows11、GPUなし、メモリ16GB）でも動かしてみることにした。以下はそのときの試行錯誤のメモである（ほぼ趣味の領域の活動だが、業務時間中に行ったので、こうしてちゃんと会社のブログで手順をまとめているというわけだ）。 何も考えずにやるとけっこうハマりポイントが多かった気がするので、ぜひ参考にし
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する ライター：西川善司 GDC 2023においてAMDは，ブース出展こそしなかったものの，会期4日めとなる2023年3月24日，同社製品や関連技術を紹介するセッションを数多く行った。AMD製CPUの「Ryzen」や，GPUの「Radeon」にまつわる内容が多い中，なぜかMicrosoftのストレージ高速化技術「DirectStorage」（関連リンク）の効果を検証する講演があったので，その内容をレポートしたい。 セッションタイトルは「DirectStorage〜Optimizing Load-Time and Streaming」だ。 David Ziman氏（Senior Member of Technical Staff） まずはDirectStorageが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
