IT加油站

腾讯发布混元Hy4 preview模型 总参数770B上下文1M

79浏览 25天前 科技综合 MA122902

8 月 28 日,腾讯发布混元 Hy4 preview 模型。官方数据显示,新模型总参数 770B,激活参数 49B,上下文长度 1M,官方称其“稳居开源模型第一梯队”。

从参数配置看,Hy4 preview 走的是 MoE(混合专家)路线:总参数 770B,但每次推理只激活 49B,约占总参数量的 6.4%。这类设计想在两个目标之间找平衡——大参数量提供知识容量,低激活比例压低推理成本。1M 的上下文长度意味着模型单次可处理百万 token 级别的输入,长文档分析、跨文件代码协作这类任务有了硬性基础。

官方表示,Hy4 preview 在模型尺寸、上下文长度、数据规模上都做了显著扩展,预训练与后训练的共同进步带来了智能水平的又一次提升。

具体能力上,官方列出了四个重点方向:

  • 软件工程:增强长程开发任务的理解、规划、调试与验证能力,进一步提升前端开发的视觉审美与交互质量;
  • 办公分析:提升复杂办公环境理解和金融分析能力,优化数据分析与跨文件协作,打通从信息处理到文档、表格、演示文稿交付的完整流程;
  • 游戏开发:增强一句需求直接生成可玩原型的能力,能熟练使用游戏引擎,开发者可通过多轮交互持续完善复杂游戏项目;
  • 科学研究:提升复杂科研问题的理解、推理与求解能力,覆盖 AI 研发、分子动力学模拟、凝聚态物理、基础数学等场景。

腾讯方面介绍,这些提升来自与内部软件工程、游戏、金融、安全等领域专家的高质量数据共建。从我的观察看,四个方向里有三个直接指向生产力场景,游戏开发被单独列出并细化到“生成可玩原型”和“熟练使用游戏引擎”,与腾讯自身的游戏业务背景明显相关——把游戏管线写进大模型官方能力清单,在国产模型的发布叙事里不算常规操作,更像是对自身优势场景的定向强化。

工具链方面,Hy4 preview 将与腾讯的 CodeBuddy 和 WorkBud 持续配合,前者承接开发场景,后者对应办公场景,模型能力最终通过这两个产品落到具体工作流里。

模型名称中的 "preview" 说明这是一个预览版本,后续正式版的性能表现与完整开源节奏,还有待腾讯官方进一步公布。

#腾讯 #混元Hy4 #Hy4 #大模型 #CodeBuddy