ご家庭のパソコンで言語モデルを微調整してGPT-4を超える
１．ご家庭のパソコンで言語モデルを微調整してGPT-4を超えるまとめ ・chatGPTのように言語を流暢に扱う事のできるAIを様々な企業や団体が公開してくれているがカスタマイズするには高性能なパソコンが必要であった ・量子化(quantization)およびパラメータ効率の良い微調整(Parameter-Efficient Fine-Tuning)によりミドルスペックのパソコンでも動かせるようになった ・量子化後、独自データを作成して量子化モデルにPEFTを行ったところ独自ベンチマークでgpt-4のスコアを上回る微調整モデルを作成する事ができた ２．自分専用にカスタマイズしたチャットボットをミドルスペックPCで動かす chatGPTのおかげで大規模言語モデル(LLM:Large Language Model)という言葉が注目を集めるようになりました。 chatGPTのように言語を流暢に扱う
日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開
１．日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開まとめ ・先日公開した日英・英日機械翻訳モデルALMA-7B-Jaの性能を更に向上したV2を公開 ・70億パラメーターモデルだがMETA社の540億パラメーターモデルに近い性能を達成 ・量子化を行いサイズを縮小したGPTQ版の性能もかなり向上し、より扱いやすくなった ２．日英・英日機械翻訳モデルALMA-7B-Ja-V2とは？ ALMA-7B-Jaは最近話題のchatGPTが使っているAIテクノロジー(LLM:大規模言語モデル)を使って学習させた日英・英日機械翻訳用のAIモデルです。chatGPTのように多様な機能を学習させるのではなく、翻訳機能に特化させる事で専門性を高める事を狙っています。 先日、前バージョンである日英・英日機械翻訳AIモデルALMA-7B-Jaを公開したのですがまだまだ改善できる点が沢山ある事がわかっており、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
