ローカルLLM"Phi-3"をWindows CPUで動かす
はじめに おれの名前は樋口恭介。Phi-3というMicrosoftから2024年4月23日にリリースされた小規模LLMが、ギリCPUでも動くうえにGPT-3.5よりも精度が高いということで、触ってみることにした。 まずはGoogle Colab上でCPUを選択し、動きを確認したところ、通常モデルでも20分～30分程度で、かなり精度が高い回答が得られ、4bit量子化モデルだと、2分～3分程度で、それなりの出力が得られることがわかった。 そこで、気分がもりあがってきたので、自身のローカルPC（Windows11、GPUなし、メモリ16GB）でも動かしてみることにした。以下はそのときの試行錯誤のメモである（ほぼ趣味の領域の活動だが、業務時間中に行ったので、こうしてちゃんと会社のブログで手順をまとめているというわけだ）。 何も考えずにやるとけっこうハマりポイントが多かった気がするので、ぜひ参考にし
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する ライター：西川善司 GDC 2023においてAMDは，ブース出展こそしなかったものの，会期4日めとなる2023年3月24日，同社製品や関連技術を紹介するセッションを数多く行った。AMD製CPUの「Ryzen」や，GPUの「Radeon」にまつわる内容が多い中，なぜかMicrosoftのストレージ高速化技術「DirectStorage」（関連リンク）の効果を検証する講演があったので，その内容をレポートしたい。 セッションタイトルは「DirectStorage〜Optimizing Load-Time and Streaming」だ。 David Ziman氏（Senior Member of Technical Staff） まずはDirectStorageが
オレオレASICとオレオレCPUで作る「オレたちのSoC」 CPU脳をたたき直す“自由ASIC時代”の到来
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。takeoka氏は、現在開発中のSoC（System-on-a-chip）について発表しました。 LSI（Large Scale Integration）の民主化が進んでいる takeoka氏（以下、takeoka）：俺ASICと俺CPUを作っているのでその話をちょっとします。 最近、日本でも半導体復興と言われています。（半導体は）お金持ちの物だと思っていたけれど、近頃はGoogleが安く作れるようにしてくれていたり、OpenEDAやOpenLANEというOSSのツールを使えば作れます。 これはだいぶ前からですが、Googleががんばっています。ほかにも、FOSSi（Free and Open Source Silicon Foundation
『プログラマーのためのCPU入門 ― CPUは如何にしてソフトウェアを高速に実行するか』
そのプログラム、CPUの性能を引き出せますか？ Takenobu Tani 著 312ページ A5判 ISBN：978-4-908686-16-0 2023年1月25日 第1版第1刷 本書の解説で利用するコード（著者によるGitHubリポジトリ） 正誤情報など ソフトウェアの価値は、ハードウェアで実行されることにより、現実のものになります。そのために不可欠なのがCPUです。したがってソフトウェアの価値は、CPUの性能、すなわち「できるだけ高速にソフトウェアを実行すること」にかかっているとも言えるでしょう。 現代のCPUの性能は、「メモリとやり取りしながら命令を実行していく」というCPUの原理的な仕組みを知るだけでは説明できません。ソフトウェアを高速に実行するためにCPUシステムが備えているパイプライン化やスーパースカラ化の挙動をはじめ、アウトオブオーダー実行、分岐予測、キャッシュ、TLBと
メタバースの技術限界の解説 - Qiita
これらの試算から、1人あたりのトラッキングによる通信量はおおよそ16.88kbpsから112.50kbpsと考えられます。 スター型ネットワークの場合 ここでメタバースでスター型のネットワークを採用することを考えます。 どのような構成かというと、クライアントがトラッキングデータをサーバーへ送信します。各クライアントへのトラッキングデータの送信はサーバーが行います。 こうした構成を行う場合、全てのクライアントのデータがサーバーを介し、各クライアントへ流れ込みます。そのため、通信速度は下り速度がボトルネックとなります。ここでは人口75%ラインの88Mbpsを上限として考えます。 先ほどの1人当たりのトラッキングに関わる通信量から算出すると、スター型の場合、801～5,340人が通信の限界になります。 フルメッシュ型ネットワークの場合 一方で、サーバーを介しないクライアント同士が直接つながるフル
Popping the Hood on Golden Cove
Alder Lake (ADL) is the most exciting Intel launch in more than half a decade. For the first time since Skylake, Intel has launched a competitive desktop microarchitecture. But I’m sure you all know that already from other sites that are able to do launch day reviews. Here, we’re going to deep dive ADL’s P-core architecture, Golden Cove. Primarly, we’re going to compare Golden Cove to its direct p
CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
冗談ではなく目の前が真っ暗になる恐怖……ピンを曲げてしまったRyzen 9 5950Xの修復を試みる (1/3)
某月某日、ジサトラハッチから電話があった。 「ウチの若いのが、ソケットの向きを間違えてCPUを装着したようで、ピンが曲がっちゃってるんですけど……直せたりします？ Ryzen 9 5950Xなので、さすがになんとかしたくて」 この話を聞いただけだと、多少曲がったピンがあるくらいかなと思っていたのだが、後日、実物をみて驚いた。大きく曲がったピンが6本、傾いたピンはそれ以上という、なかなか悲惨なことになっていたからだ。 自作PCファンであれば、程度の違いこそあれ、このようなCPUのピンを曲げてしまうという失敗を経験したことがあるだろう。手を滑らせて落とす、ソケットに挿す向きを間違える、ソケットから外すときに片側だけ持ち上げる、ドライバーなどの小物をぶつける、グリスでCPUクーラーに貼り付き一緒に抜ける（通称スッポン）など、不幸な事故から過失まで、その原因は様々だ。 CPUといえば、古くは裏面に
CPU高速化の常套手段 パイプライン処理の基本 【その1】 (1/4)
今回はCPUのパイプラインについて説明をしてみたいと思う。だがその前に、デジタル回路の基礎を、ちょっとだけ復習しておきたい。 そもそもゲートとはなんぞや？ デジタル回路ではよくGate(ゲート)という用語が出てくる。ゲートという用語は非常によく使われるが、大別して2つの意味がある。ひとつは「門」としてのゲートで、例えばトランジスター内部の電圧制御を行なう部分を指す。「ゲート酸化膜」だの「HKMG」(High-k Metal Gate)だのというのがこちらである。「Clock Gating」とか「Power Gating」も同様で、こちらはクロック信号や電力供給回路の「門として作用する回路」の意味だ。 もうひとつの意味が、「デジタル回路の最小単位」の意味である。デジタル回路の最小単位と言えば論理回路のことで、NOT/AND/ORという3種類の演算と、0と1(もしくはLowとHigh)の2種類
VM環境のCPU仮想化はどうやって実現しているのか ハードウェア仮想化支援機構の仕組み
Arm入門勉強会とは、macOSがArmに移行したこの機にArmアーキテクチャでのプログラミングについて入門するソフトウェアエンジニアのための会です。今回主催の@nullpo_head 氏が、Armの仮想化支援機構について、その仕組みから深く説明します。前半は「現代のハードウェア仮想化支援機構」について。全２回。 ハードウェア仮想化支援とは何か 佐伯 学哉氏：入門セッション3つ目は『Armの仮想化支援機構』についての入門セッションです。どうぞよろしくお願いします。 本発表のスタートとゴールです。VMwareとかQemuとか使ったことあるけど仮想マシンの仕組みなんも知らんというところがまずスタートになっています。 1個目のゴールは、最近のVMのざっくりした仕組みとハードウェア仮想化支援とは何かということがわかること。そしてその話のあとに実際にArmの仮想化支援機構の概要を説明し、Armの仮想
メモリアクセスのセマンティクスとApple siliconの裏技(?)について - yamasaのネタ帳
アウト・オブ・オーダー実行について補足 前回の記事で「アウト・オブ・オーダー実行」について特に説明せずに話を進めてしまったことに気づいたので、まずはそれについて簡単に補足しておこう。 コンピューターの性能向上の歴史はレイテンシーとの戦いの歴史でもある。 colin-scott.github.io 上のサイトは年代毎にコンピューターシステムでの各種レイテンシーがどのように変化していったかを紹介している。1990年代前半はキャッシュメモリとメインメモリとの間のレイテンシー差はそれほど大きくなかったが、その後の技術革新によって現在はL1キャッシュとメインメモリとの間に100倍くらいのレイテンシー差があるようになってしまった。これはつまり、プログラム実行中にメインメモリへのアクセスが発生してしまうと、それだけ長いレイテンシーの間CPUの処理を進めることができなくなってしまうことを意味する。そのため
なぜ、AppleのM1チップはそんなに速いのか?
Medium(Debugger)より。 新しいM1 Macの実際の体験が動き始めました。速いです。本当に速い。しかし、なぜ? 魔法は何ですか? エリック・エンハイム Youtubeで、昨年iMacを購入したMacユーザーを見ました。それは40GBのRAMを搭載、約4000ドルの費用がかかて最大になりました。その時には、超高価なiMacが、わずか700ドルを支払った新しいM1 Mac Miniによって破壊されていく様子を信じられないような気持ちで見ていました。 実際のテストでは、M1 MacはIntel Macの最上位を超えて追い越しているだけでなく、それらを破壊しているのです。信じられない人たちは、一体どうやってこんなことが可能なのかと尋ね始めました。 あなたがその人たちの一人なら、あなたはうってつけの場所に来ました。ここでは、AppleがM1で行ったことを正確に消化可能な部分に分解する予
SnapdragonとApple Siliconは何が違うのかの雑談
紅月さん@がんばらない @koduki SnapdragonとApple Siliconはシングル性能が明らかに違うけど、その違いは技術力の差なのかユースケースの差なのかが気になるな 2020-11-27 03:33:10 📙🔭✨NISHIMOTO Keisuke @keisuke_n @koduki 両方な気がしますね。開発規模については専門でやっているところと開発部門の1つなのかもあまり参考にならないと思いますが、Appleの方が広く深くやっているように見えますし、一方Snapdragonは一定のパフォーマンスが得られれば良いという方針にも見えて、それぞれ必要な目標が異なって見えます。 2020-11-27 03:39:46
ArmにあるというJavaScript専用命令とは何か、あるいは浮動小数点数を整数に変換する方法について - Qiita
// gcc-10 -march=armv8.3-a arm-jcvt.c という風にコンパイル #include <stdio.h> #include <math.h> #include <inttypes.h> #include <arm_acle.h> // Prototype: // int32_t __jcvt(double); #if defined(__GNUC__) __attribute__((noinline)) #endif int32_t cast_double_to_i32(double x) { return (int32_t)x; } int main(void) { printf("(int32_t)(-2.8) = %" PRId32 "\n", cast_double_to_i32(-2.8)); printf("(int32_t)1.99 = %" P
メモリコンシステンシについて
現代のプログラミングではよりよい性能のためにマルチコア、マルチスレッドで動作するコードを書くというのは珍しくないと思います。多くのプログラミング言語ではユーザに利用しやすい形でそのための言語機能や標準ライブラリを提供しています。ですが抽象化のレイヤを降りて、例えば CPU のレベルで考えると同期化のために難しい概念というのが多数登場します。 ここではその中で「メモリコンシステンシ」について自分の理解をまとめました。これは言語によっては完全に隠された概念だと思うのですが C++ や Rust ではアトミックな操作に std::memory_order や std::sync::atomic::Ordering というパラメータを渡すことで、操作が従うべきメモリコンシステンシモデルを指定できます。最初のうちはそう言われても? という感じだったのですが、いくつか良質な資料に出会い徐々に理解ができ
「強いメモリモデル」と「弱いメモリモデル」 - yamasaのネタ帳
Apple M1についての面白い記事を見かけて、久しぶりにメモリモデル屋(?)の血が騒いだのでブログを書く。 note.com 強いメモリモデル 現代のCPUアーキテクチャでは、x86(64bit, 32bitどちらも)が「強いメモリモデル」を採用しており、それ以外のメジャーなCPUが「弱いメモリモデル」を採用している。この「強いメモリモデル」「弱いメモリモデル」について、まずおさらいしておこう。 以下のように、2つの変数a, bに対して異なるCPUコアが同時にアクセスしたとする。 int a = 0; int b = 0; CPU1: a = 1; b = 1; CPU2: int r1 = b; int r2 = a; (上記はC言語に似た疑似コードを用いているが、実際は機械語命令になっていると考えてほしい。つまり、CPU1は変数a, bの示すメモリアドレスに対するストア命令を実行して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ラズパイ4も対応しているCPU超高速Stable diffusionのFastSDCPUで爆速生成AI。標準4分/枚がOpenVINOでわずか18秒/枚。お金をかけずに爆速化最高。オススメ
「知らなかった」「例えが秀逸」CPUの性能は実は野菜の等級感覚で取れた物を計測して実力差で分けてるらしい
Exclusive: Why Apple M1 Single "Core" Comparisons Are Fundamentally Flawed (With Benchmarks)
メモリコンシステンシモデル memory consistency model - ppt download