gpt-oss-120bをpythonとvLLMで触りながら理解する - ABEJA Tech Blog

データサイエンティストをしている服部です。 OpenAIからgpt-ossというオープンモデルが登場しました。 早速ですが、このモデルを使いながら中身を理解していきたいと思います。 gpt-ossのモデル特徴 vLLM上で動かす 通常のtokenizerで動かす 最終出力と思考部分 chat templateも見てみる Tool Useを試す Built-in toolも試す Python blowser 複数のツールを同時並列で使えるか？ まとめ We Are Hiring! gpt-ossのモデル特徴 openai.com 他にも紹介している記事はたくさんあるため手短に... 今回OpenAIからは2種類のモデル gpt-oss-120b と gpt-oss-20b がリリースされており、どちらもApache2.0ライセンスで提供されてます。 どちらのモデルもMoE(Mixture o

[sh19910711]

"アクティブパラメータはそれぞれ5.1b, 3.6b / 120b(1200億)パラメータあるが、推論時に計算に使うパラメータは5.1b(51億)だけという意味合い"

[yarumato]

“MoE(Mixture of Experts)アーキテクチャ。 120bのほうでいうと、全部のパラメータ数は120b(1200億)パラメータあるが、推論時に計算に使うパラメータは5.1b(51億)だけという意味合いです。 ”

[teddy-g]

なるほど。試したみたいが全く時間がないな。