逼近人类智能！全球最大智能模型“悟道2.0”在京发布

6月1日，被誉为“AI行业顶级盛会”的2021北京智源大会开幕。会上发布了一位名叫“华智冰”的智能人女学生，以及她的内核——悟道。

据介绍，“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Googl Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。

2020年10月，智源研究院启动悟道项目。悟道的最初版本在今年3月发布，是首个以中文为核心的超大规模预训练模型。

悟道2.0从原来的文本为主逐渐往更强大，更通用的方向上发力，并可以根据文字生成高精度的图片，根据图像去检索文字，实现图像和文字的互相检索。目前，悟道2.0在问答、作诗、配文案、视频、绘画、菜谱多项任务中正逼近图灵测试。

据了解，“悟道”团队开创性的研发FastMoE技术，是打破国外技术瓶颈，实现“万亿模型”基石的关键。其研究并开源的FastMoE是首个支持PyTorch框架的MoE系统具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。而且，支持Switch、GShard等复杂均衡策略，以及不同专家不同模型，为万亿模型实现方案补上最后块短板。

目前，悟道2.0 已经在世界公认的9项 Benchmark 上交出了成绩单，包括ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO等项目上超越数个国外智能模型，并在多项任务上获得SOTA。

本文来源前瞻网，转载请注明来源。本文内容仅代表作者个人观点，本站只提供参考并不构成任何投资及应用建议。（若存在内容、版权或其它问题，请联系：service@qianzhan.com）