SentencePieceのRuby bindingsを作った - 洋食の日記
はじめに Rubyでなにか大規模言語モデル (Large Language Models, LLMs) に関することをやってみようと思って、SentencePieceのbinding gemがないことに気づいて作った。 github.com SentencePieceはニューラルネットワークな言語処理向けに作られたTokenizer/Detokenizerで、文が与えられると単語に分割してIDを割り当てる。逆にIDのリストから文を再構成することができる。この逆変換が可能なことでEnd to Endの...あとは作者のKudo TakuさんのQiita記事に。 qiita.com インストール sentencepiece.rbは、SentencePiece自体を同梱していないので、各パッケージマネージャーでこれをインストールする。Ubuntuであればaptで、macOSであればhomebre
llama.cppのRuby bindingsを作った - 洋食の日記
はじめに llama.cppはMetaの大規模言語モデル (Large Language Models, LLMs) であるLLaMAを、量子化することでCPU上で動作させるものである。C/C++で実装されているので、Ruby bindingsを作って、Rubyから呼び出せるようにした。 github.com 使い方 インストールは通常のnative extensionsなgemと同様である。 $ gem install llama_cpp モデルを用意して量子化する必要があるが、llama.cppをcloneしてきて、Usageの通りにすればできる。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ あとは、普通にrequireすれば使える。 require 'llama_cpp' # パラメータを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
