gpt-ossがすごい！！ローカルで120bと20bを動かしてみた（Mac、メモリ128GB）

ローカルマシンで実際に動かしてみました。これはすごい！！ 使ってみた肌感はこうです！ ChatGPTのブラウザ版の使用感と同じくらいの質で出力してくれる。 プロンプトから事前に考えてくれる（Reasoning）ので、高精度を期待できる。 生成速度はブラウザ版の4oくらい早い。（ほとんどストレスを感じない。） 20bでは、固有名詞のハルシネーションに注意。120bではほぼ大丈夫そう。 20bはメモリ13GBくらい、120bはメモリ63GBくらいを常時占有する。 実演会のアーカイブはこちら👇背景情報としてgtp-ossのゲームチェンジャーっぷりを知れて、ローカルマシンでの実際の動作速度を見られます。 それでは、詳細を見ていきましょう👇 gpt-ossの概要 OpenAI社が、OSSのモデル2つ、「gpt-oss-120b」「gpt-oss-20b」を発表しました。 公式発表はこちらです。