Scikit-Learnが遅いので、C++製の超高速機械学習ライブラリを作った話 - Qiita
【VeloxML】Scikit-Learnが遅いので、C++製の超高速機械学習ライブラリを作った話 こんにちは！ 機械学習の高速化を目指し、C++製の機械学習ライブラリ「VeloxML」(アルファ版) を開発したので紹介したいと思います。 導入（イントロ） 機械学習を実際のプロジェクトで活用しようとすると、計算速度の壁に直面することがあります。特に、数百万件のデータをローカル環境で学習させるようなケースでは、既存のライブラリの限界を感じることがありました。 最初は scikit-learn を使っていましたが、大規模データでの学習が遅く、処理時間がボトルネックになっていました。かといって、ロジスティック回帰をするためだけにPyTorchやTensorFlowを用意するのは大袈裟すぎます。シンプルな機械学習タスクに、数GBものディープラーニングフレームワークをインストールするのは非効率的です
Llama.cpp で Llama 2 を試す｜npaka
「Llama.cpp」で「Llama 2」を試したので、まとめました。 ・macOS 13.4.1 ・Windows 11 前回 1. Llama.cpp「Llama.cpp」はC言語で記述されたLLMのランタイムです。「Llama.cpp」の主な目標は、MacBookで4bit量子化を使用してLLAMAモデルを実行することです。 特徴は、次のとおりです。 ・依存関係のないプレーンなC/C++実装 ・Appleシリコンファースト (ARM NEON、Accelerate、Metalを介して最適化) ・x86アーキテクチャのAVX、AVX2、AVX512のサポート ・Mixed F16/F32精度 ・4bit、5bit、8bit量子化サポート ・BLASでOpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/AC
rinna.cpp を試す｜npaka
「rinna.cpp」を試したのでまとめました。 ・rinna/japanese-gpt-neox-3.6b-instruction-ppo ・macOS 13.4.1 【追加情報】「redpajama.cpp」はメンテされてないので、今後は @syoyo さん版使うのが良さそうです。 redpajama.cpp はなんかもうメンテされていないから, rinna を llama.cpp で動かす時はこちらの fork を使うといいよ☺️ (近日中に japanese-normalizer-cpp 取り込んで日本語正規化対応する!) https://t.co/M6LK0OZlm8https://t.co/ZAfp7YJjXr — syoyo.eth 🌸 レイトラ ® 🐯 5 周年 🎉 (@syoyo) July 14, 2023 1. rinna.cpp「rinna.cpp」は、「ll
【C++】学習済みPyTorchモデルのC++(TotchScript)移管 - Qiita
#if _DEBUG #pragma comment(lib, "opencv_world470d.lib") #else #pragma comment(lib, "opencv_world470.lib") #endif #include <torch/torch.h> #include <torch/script.h> #include <iostream> #include <thread> #include <memory> using namespace std; #include <opencv2/opencv.hpp> using namespace cv; #include "opencv2/highgui/highgui.hpp" //動画を表示する際に必要 constexpr int TIME_TO_SLEEP = 1000; int main(int argc, c
GitHub - OpenNMT/CTranslate2: Fast inference engine for Transformer models
CTranslate2 is a C++ and Python library for efficient inference with Transformer models. The project implements a custom runtime that applies many performance optimization techniques such as weights quantization, layers fusion, batch reordering, etc., to accelerate and reduce the memory usage of Transformer models on CPU and GPU. The following model types are currently supported: Encoder-decoder m
GitHub - ggml-org/whisper.cpp: Port of OpenAI's Whisper model in C/C++
Stable: v1.7.6 / Roadmap High-performance inference of OpenAI's Whisper automatic speech recognition (ASR) model: Plain C/C++ implementation without dependencies Apple Silicon first-class citizen - optimized via ARM NEON, Accelerate framework, Metal and Core ML AVX intrinsics support for x86 architectures VSX intrinsics support for POWER architectures Mixed F16 / F32 precision Integer quantization
C++でOpenCV完全入門！
この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第1回の記事「C++でOpenCV完全入門！」です。 第2回の「OpenCVをNPPにした結果→10倍高速に！」、第3回の「詳解V4L2 (video for linux 2)」もぜひご覧ください！ はじめに こんにちは。完全自動運転EVを開発するベンチャー企業、TURING株式会社でインターンをしている東大工学部3年の井上信多郎です。 我々人類は、車を運転するにあたって多くの情報を目から取り入れています。目から取り入れた情報を元に、アクセル・ブレーキ・ハンドルを操作しています。 自動運転の場合、その目に相当するセンサがカメラであり、カメラから得た情報を元に車を運転することになります。カメラから得る情報とは、ずばり画像です。画像の中から信号、標識、前方車両などの必要なもの
Keras のモデルを使って推論できる frugally-deep を試してみた。
はじめに C++ ヘッダオンリーのライブラリが大好きなので、しばしば色々なライブラリを探索する趣味があるのですが、frugally-deep というライブラリを見つけたので試してみました。 frugally-deep とは モダンでピュアな C++ で書かれた小さなヘッダーのみのライブラリ 非常に簡単に統合して使うことができる FunctionalPlus、Eigen、json にのみ依存しており、これらもヘッダーオンリー 逐次モデルだけでなく、関数型 API で作成された、より複雑なトポロジー計算グラフの推論（model.predict）もサポート TensorFlow の(小さな)サブセット、つまり予測をサポートするために必要な操作を再実装している TensorFlow をリンクするよりもはるかに小さいバイナリサイズ 32ビットの実行ファイルにコンパイルしても動作 システムの中で最も強
ゼロから学ぶ C++
ホーム 1. C++ を始める 2. 基本構文 3. コンテナ 4. ファイル分割とスコープ 5. ストリーム操作 6. メモリの管理 7. クラス 8. キャスト 9. テンプレート 10. エラー処理 11. ビルドとライブラリ 12. メモリレイアウト 単体テスト デバッグ ビルド自動化 付録 このサイトは C++ について説明した学習サイトです。 本書を通じて C++ の開発環境や構文・単体テストの書き方などが 一通り学べるようになっています。 対象¶ C++ を初めて学ぶ人 プログラム言語を 1 つ以上経験したことのある人 関数やクラス・オブジェクト指向に対する知識をある程度前提にします。 C++ の特徴¶ C++ は ビャーネ・ストロヴストルップ により開発されたプログラミング言語です。 C++ には主に次のような特徴があります。 高パフォーマンス メモリ使用量が少ない 柔軟性
GitHub - google/orbit: C/C++ Performance Profiler
This project is not maintained by Google engineers anymore at this point. Orbit, the Open Runtime Binary Instrumentation Tool is a standalone native application profiler for Windows and Linux. It supports native applications written in languages such as C, C++, Rust, or Go. Its main purpose is to help developers identify the performance bottlenecks of a complex application. Orbit can be also used
AI(機械学習)Randam Forestで株価を予想するWinodwsアプリケーションの開発 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 前回Pythonのscikit-learn Ramdam Forestを使った株価予想を行った。同じ手法で株価予想を行うアプリケーションを、いつも使いのC++Builderで開発して、より手軽に株価予想を行えるようにした。Pythonに比べて高速に株価計算が行えるようになった。開発したアプリケーションは、下記に置いているので、お試しください。 G-Chart ver1.00 使い方 WindowsのPCのみで動作します。ダウンロードしたgchart_v100.zipを適当なフォルダに展開。 gchart.exeを起動 データ更新で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIで手軽に動画をアップスケールできるツール「Video2X」v6が公開／C/C++への書き換えで動作速度が大幅に向上
Julia, Python, F#, C#, C++で単位付き数値を扱う - Qiita