比較方法公式ページにベンチマークが載っています。 huggingface.co 日本語性能は高くなっているようです。 今回はPDFの要約をしてみました。 方法はこちらと一緒です。 touch-sp.hatenablog.com Pythonスクリプト from langchain_community.document_loaders import PyPDFLoader from langchain_chroma import Chroma from langchain_huggingface import HuggingFaceEmbeddings, HuggingFacePipeline from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from langchain.indexes import

はじめに以前作成したチャットボットの改良です。 touch-sp.hatenablog.com 前回はベクトル検索のみでしたが、今回はベクトル検索とキーワード検索のハイブリッドに挑戦しました。PC環境 Windows 11 Python 3.12 CUDA 11.8 環境構築 pip install torch==2.4.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install transformers accelerate bitsandbytes sentencepiece gradio pip install langchain langchain_community langchain_huggingface pip install faiss-cpu rank_bm25 janome 準備「tex

はじめにCohereForAI/c4ai-command-r-plusを使った記事はこちらです。 touch-sp.hatenablog.com HuggingChatを使って動かしました。 今回はいろいろなモデルをローカルで動かして同じことがうまくいくのか試してみました。 ローカルで動かせるモデルははるかに規模が小さく、また量子化されています。 Temperature, Repeat Penaltyなどのパラメーターは一切変更を加えていません。 モデルの実行はすべてOllama、検証はDifyを使いました。モデル〇がついているものがうまくいったもの。 ×がついているものがうまくいかなかったもの。〇 command-r:35b-v0.1 ollama pull command-r:35b-v0.1-q4_0 parameters: 35.0B quantization: Q4_0 mode

はじめにWhisperはOpenAIが公開しているSpeech2Textモデルです。 音声ファイルを用意すればそれを文字起こししてくれます。 以前Pythonから使ったことがあります。 【Whisper】日本語音声の文字起こしにチャレンジしました。 【OpenAI/Whisper】日本語音声の文字起こしをする際に専門用語に弱い点を克服する方法。 今回はHugging Faceが公開しているCandleというのを使ってみます。 Rustという言語を使っているようです。GitHubには挑戦的な言葉が書かれています。 Why should I use Candle? Candle's core goal is to make serverless inference possible. Full machine learning frameworks like PyTorch are very

はじめに「Llama.cpp」と「ChatUI」を使用しています。 それぞれの使い方はこちらを参照して下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 使い方「Llama.cpp」の実行 ./llama.cpp/server -m llama.cpp/models/codegemma-7b-it-f16.gguf -c 2048 -ngl 29「-ngl」でGPUを使用するLayerの数を指定します。おそらくこのモデルの最大値は29だと思います。 llm_load_tensors: offloading 28 repeating layers to GPU llm_load_tensors: offloading non-repeating layers to GPU llm_load_tensors: offloaded 29/29

はじめに以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。 touch-sp.hatenablog.com 今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。 「Llama.cpp」と「ChatUI」の使い方はこちらを見て下さい。 touch-sp.hatenablog.com 使い方「Llama.cpp」の実行 ./llama.cpp/server -m llama.cpp/models/stable-code-3b-q5_k_m.gguf -c 2048 -ngl 16 「ChatUI」内の「.env.local」ファイルの中身「.env.local」ファイルの中身を書き換えることが色々なモデルを使用する時の障壁となります。 今回はこのようにしました。

はじめに「stable-code-3b」という大規模言語モデルは以前から公開されていました。 今回「instruct」モデルが新たに公開されたので使ってみました。 私の認識が間違えていなかったら「instruct」モデルは質問に答えてくれるモデルです。 通常の大規模言語モデルは最初の数単語を渡して続きを書いてくれます。そのモデルに追加学習して質問や指示に答えてくれるようにしたのが「instruct」モデルです。質問文（または指示文）を理解して返答する必要があるので通常モデルよりやや複雑だと思います。 その他に会話ができる「chat」モデルというのもあったりします。たぶん会話の内容を記憶しながら質問に答えてくれる（チャットする）モデルだと思います。 ほとんどの大規模言語モデルは「〇〇b」という単語が後ろについています。今回の場合は「3b」です。この「b」はビリオン（10億）を表していて、この

はじめに「RakutenAI-7B」「RakutenAI-7B-instruct」「RakutenAI-7B-chat」の3つのモデルが公開されています。 今回は「RakutenAI-7B-instruct」を使ってみました。 huggingface.co 結果実行するたびに異なる答えが返ってきます。 USER: 炒飯の作り方を教えて ASSISTANT: 分量さえ間違えなければ誰でも簡単に作れます。 1. ご飯を油で軽く炒め、塩で味付けする。 2. 卵を油で炒め、薄く炒飯に敷く。 3. キャベツ、ニラなどを炒め、柔らかさを調節し味付けする。 4. 3にご飯と卵、魚介類、ソーセージなどを入れ炒める。 5. ソース や醤油、塩で味付けをする。 お好みで海苔や山芋をかけても良い。 PythonスクリプトPythonから使うのは非常に簡単です。 from transformers import

はじめに large-v2とlarge-v3の比較 large-v2 Pythonスクリプト「run.py」 実行 結果 large-v3 Pythonスクリプト「run.py」 実行 結果 ここから本題 Pythonスクリプト「run.py」 実行 結果 はじめにWhisperにlarge-v3という新しいモデルが追加されていたので試してみましたが専門用語に弱い点は改善されていませんでした。 その解決方法を紹介します。 音声はこちらから男性ナレーション、医療WEBドラマ医師役の音声をダウンロードさせて頂きました。 環境構築に関しては以前「Whisper」について書いた記事を見て下さい。 touch-sp.hatenablog.com large-v2とlarge-v3の比較まずはlarge-v2とlarge-v3の比較をしてみました。large-v2Pythonスクリプト「run.py」