Llama.cpp で Llama 2 を試す｜npaka
「Llama.cpp」で「Llama 2」を試したので、まとめました。 ・macOS 13.4.1 ・Windows 11 前回 1. Llama.cpp「Llama.cpp」はC言語で記述されたLLMのランタイムです。「Llama.cpp」の主な目標は、MacBookで4bit量子化を使用してLLAMAモデルを実行することです。 特徴は、次のとおりです。 ・依存関係のないプレーンなC/C++実装 ・Appleシリコンファースト (ARM NEON、Accelerate、Metalを介して最適化) ・x86アーキテクチャのAVX、AVX2、AVX512のサポート ・Mixed F16/F32精度 ・4bit、5bit、8bit量子化サポート ・BLASでOpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/AC
rinna.cpp を試す｜npaka
「rinna.cpp」を試したのでまとめました。 ・rinna/japanese-gpt-neox-3.6b-instruction-ppo ・macOS 13.4.1 【追加情報】「redpajama.cpp」はメンテされてないので、今後は @syoyo さん版使うのが良さそうです。 redpajama.cpp はなんかもうメンテされていないから, rinna を llama.cpp で動かす時はこちらの fork を使うといいよ☺️ (近日中に japanese-normalizer-cpp 取り込んで日本語正規化対応する!) https://t.co/M6LK0OZlm8https://t.co/ZAfp7YJjXr — syoyo.eth 🌸 レイトラ ® 🐯 5 周年 🎉 (@syoyo) July 14, 2023 1. rinna.cpp「rinna.cpp」は、「ll
GitHub - OpenNMT/CTranslate2: Fast inference engine for Transformer models
CTranslate2 is a C++ and Python library for efficient inference with Transformer models. The project implements a custom runtime that applies many performance optimization techniques such as weights quantization, layers fusion, batch reordering, etc., to accelerate and reduce the memory usage of Transformer models on CPU and GPU. The following model types are currently supported: Encoder-decoder m
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Julia, Python, F#, C#, C++で単位付き数値を扱う - Qiita