This is an upcoming high performance computing book titled “Algorithms for Modern Hardware” by Sergey Slotin. Its intended audience is everyone from performance engineers and practical algorithm researchers to undergraduate computer science students who have just finished an advanced algorithms course and want to learn more practical ways to speed up a program than by going from $O(n \log n)$ to $
I Made Zig Compute 33 Million Satellite Positions in 3 Seconds. No GPU Required.
Update: I've since added multithreading and pushed astroz to 326M propagations/sec. Read the follow-up → I've spent the past month optimizing SGP4 propagation and ended up with something interesting: astroz is now the fastest general purpose SGP4 implementation I'm aware of, hitting 11-13M propagations per second in native Zig and ~7M/s through Python with just pip install astroz. This post breaks
Exactly ten years ago today, we published "Why We Created Julia", introducing the Julia project to the world. At this point, we have moved well past the ambitious goals set out in the original blog post. Julia is now used by hundreds of thousands of people. It is taught at hundreds of universities and entire companies are being formed that build their software stacks on Julia. From personalized me
B760M Pro RS/D4 WiFiのPCIeは4.0対応ですが、H670M-ITX/axはPCIe 5.0対応ということで入れ替えてみたものの、PCIe 5.0でリンクしているようには見えませんでした。UEFI BIOSの設定をいじったりはしてみたのですが。 OSはもちろんUbuntu 24.04.4 LTSです。 ドライバーのインストール 24.04.4のカーネル6.17はB580に対応しているので、ドライバーのインストールは必須ではありませんが、ここではドキュメントの内容を少々アレンジしてインストールします。次のコマンドを実行してください。 $ sudo add-apt-repository -y ppa:kobuk-team/intel-graphics $ sudo apt-get install -y libze-intel-gpu1 libze1 intel-metric
llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀
これは、なにをしたくて書いたもの？ llama-cpp-pythonを使うとOpenAI API互換のサーバーを立てられることを知ったので、ちょっと動かしてみました。 llama-cpp-python llama-cpp-pythonのGitHubリポジトリーはこちら。 GitHub - abetlen/llama-cpp-python: Python bindings for llama.cpp ドキュメントはこちらです。 llama-cpp-python llama-cpp-pythonは、llama.cppのPythonバインディングです。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ Llamaを使ったアクセスもできるのですが、 High-level API Python Bindings
準備 検証環境について 前の記事でも軽く書きましたが、せっかくffmpegも8.0になったので、改めて構築方法を見直してみます。vagrantなのでroot前提でもお気楽で良いかなと思いましたが、さすがに乱暴かなと思い一般ユーザーでの作業に落とし込んでいます。 nasmはcrbからのインストールにしました。最新バージョンではないですがAVX-512サポートはできているバージョンなのでまあいいかなと。またこの後画質検証などもしたいと思い、追加でVMAFも組み込んであります。 またffmpeg 8.0からMacのSafariでも再生できるようにパッケージングしてくれるようになったので、AV1とVP9の組み合わせでのHLSも作っていけるようにVPXも組み込みました。 あとはWhisperで使用したい音声コーデックなどがあれば追加で組み込むぐらいですかね。まあ一旦は動作確認という事でこれくらいでや
Fine-tuning LLMs to 1.58bit: extreme quantization made easy
As Large Language Models (LLMs) grow in size and complexity, finding ways to reduce their computational and energy costs has become a critical challenge. One popular solution is quantization, where the precision of parameters is reduced from the standard 16-bit floating-point (FP16) or 32-bit floating-point (FP32) to lower-bit formats like 8-bit or 4-bit. While this approach significantly cuts dow
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Algorithms for Modern Hardware - Algorithmica
Why We Use Julia, 10 Years Later
第904回 ミドルレンジのグラフィックボードで生成AI入門［Intel編］ | gihyo.jp
FFmpeg8.0でWhisperを使って字幕ファイルを書き出す