腾讯发布混元Turbo大模型，推理效率提升100%

财经三易生活网 2024-09-10 13:47

在日前举行的2024腾讯全球数字生态大会上，腾讯方面正式发布了其从训练数据、模型架构、训练策略、训练框架和软硬件体系等方面实现全链路自研的新一代AI大模型混元Turbo，并宣布其已在腾讯云正式上线。

据腾讯方面介绍，混元Turbo大模型采用了MoE（混合专家模型）架构，具备较强的中文创作能力、逻辑推理能力、数学计算和多轮对话能力，并且在“文生图”、“文生视频”、“文生3D”，以及“图+视频生文”等能力方面较为突出。

同时，混元Turbo不仅在性能上实现了大幅提升，还带来了推理成本的显着下降。据称，混元Turbo较上一代产品的推理效率提升100%、解码速度提升20%，但推理成本则降低了50%。值得一提的是，其每千个tokens输出价格为0.05元、每千个tokens输入价格仅0.015元。

据不久前中文大模型测评基准SuperCLUE发布的《中文大模型基准测评2024年8月报告》（以下简称为《报告》）显示，在11个能力项的测评中，混元Turbo-Preview（预览版）在指令遵循、代码、逻辑推理、长文本、安全、工具使用、语言理解、知识百科等8项核心任务上排名国内第一。此次测评由理科、文科和Hard三大维度构成，其中在理科和文科领域，混元Turbo-Preview均居于第1名；而在Dard任务中，混元Turbo-Preview表现出色、取得了74.33分，同时也是国内唯一超过70分的大模型，仅与ChatGPT-4o有微小差距。

在此次活动中，腾讯云方面还正式发布AI infra品牌“腾讯云智算”，并基于这一基础设施打造了“底座+模型+工具+应用”的大模型产品矩阵。

据腾讯云方面介绍，“腾讯云智算”是一个集计算、存储、网络于一体的高性能智算底座，能够为AI创新输出性能领先、多芯兼容、灵活部署的智算产品能力，并且帮助企业突破算力瓶颈、加速AI应用的落地。

在稳定性和性能方面，“腾讯云智算”集群千卡单日故障数已经刷新到0.16、是行业水平的1/3，通信时间缩短到6%、是行业水平的50%，数据读写效率是业界的10倍、1分钟就能完成万卡checkpoint写入。同时通过整合软硬件技术能力，该集群从机器上架到开始训练可以做到只需1天，相比业界以月为单位大幅缩短。

此外，腾讯大模型产品矩阵在“腾讯云智算”底座上还具有以腾讯混元大模型为代表的模型层、知识引擎为代表的工具平台层，以及不同场景的应用层。

对此腾讯集团副总裁、腾讯云总裁邱岳鹏表示，“大模型和云是密不可分的，大模型在云上训练，同时大模型能力通过云向外输出；另一方面，云产品也通过与大模型的深度融合、显着地增强能力，通过这样不断地迭代，让客户在云上获得更全面的业务增长”。

据腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生透露，“过去一年，腾讯云通过持续聚焦自研、推动被集成，业务更加健康可持续。与伙伴共同服务的客户数超过200万家，订单过100万的伙伴数量实现了两位数的增长。很多SaaS伙伴收入增加了1倍多，国际业务增速也在两位数以上”。

他还进一步指出，很多企业面临内外部多重挑战、甚至陷入“内卷式竞争”，但如果蛋糕不增长，结果就是“零和”游戏。企业增长的核心在于跳出框架、探索产业的新发展，“以数提效、顺势而为、扬帆出海是企业破局增长的三个方向”。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】