中国Moonshot AIは7月16日(現地時間)、大規模言語モデル「Kimi K3」を発表した。同日からチャットサービス「Kimi.com」やAPIなどで利用できる。パラメータ数は2.8兆で、オープンモデルとしては世界初の“3T(3兆)級”と位置付ける。 Kimi K3は、画像を扱えるネイティブなマルチモーダル性能と、100万トークンのコンテキストウィンドウを備える。文章中のどの単語同士が関係するかを計算する「アテンション機構」には、独自開発の「Kimi Delta Attention」などを採用した。 多数の小さな専門モデル(エキスパート)を用意し、入力に応じて一部だけを動かす「MoE」(Mixture of Experts)と呼ぶ仕組みでは、896個のエキスパートのうち16個だけを動かす構成を取る。こうした設計により、同じ計算資源からより高い性能を引き出せるようになり、その効率は前モ

