6月1日,被誉为“AI行业顶级盛会”的2021北京智源大会开幕。会上发布了一位名叫“华智冰”的智能人女学生,以及她的内核——悟道。
据介绍,“悟道2.0”模型的参数规模达到1.75万亿,是GPT-3的10倍,打破了之前由Googl Switch Transformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。
2020年10月,智源研究院启动悟道项目。悟道的最初版本在今年3月发布,是首个以中文为核心的超大规模预训练模型。
悟道2.0从原来的文本为主逐渐往更强大,更通用的方向上发力,并可以根据文字生成高精度的图片,根据图像去检索文字,实现图像和文字的互相检索。目前,悟道2.0在问答、作诗、配文案、视频、绘画、菜谱多项任务中正逼近图灵测试。
据了解,“悟道”团队开创性的研发FastMoE技术,是打破国外技术瓶颈,实现“万亿模型”基石的关键。其研究并开源的FastMoE是首个支持PyTorch框架的MoE系统具有简单易用、灵活、高性能等特点,并且支持大规模并行训练。而且,支持Switch、GShard等复杂均衡策略,以及不同专家不同模型,为万亿模型实现方案补上最后块短板。
目前,悟道2.0 已经在世界公认的9项 Benchmark 上交出了成绩单,包括ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO等项目上超越数个国外智能模型,并在多项任务上获得SOTA。
本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com)