首页 > 财经 > 正文
Qzone
微博
微信

阿里云宣布开源通义千问140亿参数模型Qwen-14B

财经 三易生活网 2023-09-27 10:11

继此前在8月开源通义千问70亿参数基座模型Qwen-7B,并且其先后冲上HuggingFace、Github的trending榜单,在一个多月内实现累计下载量突破100万后。日前阿里云方面宣布,开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat。

据了解,Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,具备更强大的推理、认知、规划和记忆能力,且最大支持8k的上下文窗口长度。

对此阿里云方面表示,百亿以内参数级别大模型是目前开发者进行应用开发和迭代的主流选择,而Qwen-14B则进一步提高了小尺寸模型的性能上限、从众多同尺寸模型中冲出重围。据悉,Qwen-14B在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12个权威测评中取得最优成绩,超越所有测评中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,部分指标甚至接近Llama2-70B。

Qwen-14B-Chat则是在该基座模型上,经过精细SFT得到的对话模型。据阿里云方面透露,Qwen-14B-Chat生成内容的准确度大幅提升,也更符合人类偏好,内容创作上的想象力和丰富度也有显着扩展。

据悉,目前Qwen-14B和Qwen-14B-Chat已上线ModelScope魔搭社区,均可免费商用,用户可从魔搭社区直接下载,此外还能通过阿里云灵积平台访问调用。

阿里云方面强调,通义千问是目前落地最深、应用最广的中国大模型,国内市场已有多个月活过亿的应用接入通义千问,并且大量中小企业、科研机构和个人开发者都已基于通义千问开发专属大模型或应用产品,如阿里系的淘宝、钉钉、未来精灵(原天猫精灵),以及外部的科研机构、创业企业等。例如浙江大学联合高等教育出版社基于Qwen-7B开发了智海-三乐教育垂直大模型,已在全国12所高校应用,可提供智能问答、试题生成、学习导航、教学评估等能力;浙江有鹿机器人科技有限公司在路面清洁机器人中集成了Qwen-7B,使机器人能以自然语言与用户进行实时交互,理解用户提出的需求。

对此阿里云CTO周靖人表示,阿里云将持续拥抱开源开放,推动中国大模型生态建设,并且阿里云笃信开源开放的力量,率先开源自研大模型,希望让大模型技术更快触达中小企业和个人开发者。

【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】

 

延伸阅读:

 

责任编辑: cxr4186

责任编辑: cxr4186
人家也是有底线的啦~
广告
Copyright © 2018 TOM.COM Corporation, All Rights Reserved 雷霆万钧版权声明
违法信息/未成年人举报:010-85181169     举报邮箱/未成年人举报:jubao@tomonline-inc.com