悟道2.0带来的思考，人类究竟需要咋样的AI
发布时间：2022-02-28 09:56:29 所属栏目：云计算 来源：互联网
导读：智源研究院在其主办的2021北京智源大上发布号称全球最大的超大规模智能模型悟道2.0，意欲打造我国人工智能战略基础设施，据介绍，悟道2.0模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由GoogleSwitchTransformer预训练模型创造的1.6万亿参数记录，
|
智源研究院在其主办的2021北京智源大上发布号称全球最大的超大规模智能模型“悟道2.0”，意欲打造我国人工智能战略基础设施，据介绍，“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。 关于“悟道2.0”的研发，智源研究院理事长张宏江认为，目前“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义，未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。大模型就是下一个AI的基础平台，是未来AI发展的战略基础设施。“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。通过一系列原始创新和技术突破，本次发布的“悟道2.0”实现了“大而聪明”，具备大规模、高精度、高效率的特点。 “悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。开创性的研发FastMoE技术，是打破国外技术瓶颈，实现“万亿模型”基石的关键。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。新一代FastMoE，支持Switch、GShard等复杂均衡策略，支持不同专家不同模型，为万亿模型实现方案补上了最后⼀块短板，让梦想终成现实。 “悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据，以及Pile数据集的1.2TB英文文本数据。 另外，“悟道2.0”模型一统文本与视觉两大阵地，支撑更多任务，更加通用化。 （编辑：常州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
