ggml.ai、GPUなしでチャットAIを動作させるライブラリ「GGML」開発中 Raspberry Pi上で音声認識モデルを実行可能

ggml.aiは2023年6月現在、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発中と発表した。 GGMLの特徴は以下の通り。 Cで書かれている 16ビット浮動小数点をサポート 整数量子化をサポート（例：4bit、5bit、8bit） 自動微分 組み込みの最適化アルゴリズム「ADAM」「L-BFGS」などを搭載 Appleシリコン用に最適化 x86アーキテクチャではAVX/AVX2組み込み関数を利用 WebAssemblyおよびWASM SIMDによるWebサポート サードパーティへの依存関係なし 実行時にメモリ割り当てなし ガイド付き言語出力のサポート 関連記事 OpenAI、LLMの「GPT-4」および「GPT-3.5」ファミリーの最新モデルをリリース 関数呼び出しなど可能に OpenAIは、大規模言語モデル（LLM）の「GPT-4」および「G