当前位置:当前位置:首页 > 综合 > 阿里开源下一代模型架构Qwen3 正文

阿里开源下一代模型架构Qwen3

[综合] 时间:2026-01-11 07:09:36 来源:Trade Nation官网 作者:时尚 点击:180次

9月12日,阿里阿里通义发布下一代基础模型架构Qwen3-Next。开源Qwen3-Next针对大模型在上下文长度和总参数两方面不断扩展(Scaling)的下代未来趋势而设计,采用全新的模型高稀疏MoE架构,并对经典Transformer核心组件进行了重构,架构创新线性注意力和自研的阿里门控注意力结合的混合注意力机制,实现了模型训练和推理的开源双重性价比突破。

基于这一新架构,下代阿里通义“打样”了Qwen3-Next-80B-A3B系列模型,模型开源指令(Instruct)和推理(Thinking)两大模型版本。架构新模型总参数 80B 仅激活 3B,阿里性能可媲美千问3旗舰版235B模型,开源模型计算效率大幅提升。下代Qwen3-Next训练成本较密集模型Qwen3-32B大降超90%,模型长文本推理吞吐量提升10倍以上,架构并可支持百万Tokens超长上下文。


(责任编辑:焦点)

相关内容
精彩推荐
热门点击
友情链接