4月2日，APUS与战略合作伙伴新旦智能联合训练、研发的千亿MoE(Mixture of Experts)架构大模型，在GitHub上正式开源。从适配低端算力芯片实现行业普惠，到国内首个开源的千亿参数MoE架构大模型模型提质增效，APUS-xDAN 大模型4.0(MoE)的应用之风将强势来袭。

  相比国内其他大模型公司，此次与APUS联合开源大模型的新旦智能略显年轻，但创始团队阵容却颇为豪华：这是一支由清华、伯克利、腾讯、Meta等顶尖学术与工程界精英组成的团队，成员包括全球顶尖的开源AI社区知名开发者、资深腾讯云架构师等，并已于今年3月初，完成了千万级别的天使轮融资，由APUS与AI行业资深投资人周弘扬联合投资。

  此次双方强强联合，集成各方优势，让APUS-xDAN 大模型4.0(MoE)在4090之类的低端算力芯片上，综合性能达到了GPT-4 的90%。这一全新突破，将为中国企业应用大模型技术提供更大价值，进一步通过算法优化成功破解“算力卡脖子”的难题。

  近日，美国商务部发布了重要的公告，对美国2023年10月17日发布的半导体出口管制规则进行修订，除此前限制英伟达等公司向中国出口先进的AI芯片，这次新规再次加码，对向中国出口芯片的限制也适用于包含低端芯片的笔记本电脑，标志着中国将更难获取美国人工智能芯片和芯片制造工具。

  面对国内算力资源局限与国际技术封锁，APUS董事长兼CEO李涛谈到：“中国要想跳出由美牵头设计的‘算力陷阱’，一方面就要从算法上进化，能用低端算力来做高端模型;另一方面则是持续推动应用生态的进化，只有坚持双向进化，才有机会实现破局。”

  而此次开源的，APUS-xDAN 大模型4.0(MoE)就是集合数据、工程和芯片4090上顺畅运行的千亿参数规模大模型，APUS-xDAN 大模型4.0(MoE)进一步破局美半导体出口管制，成功助力中国AI产业在模型应用上实现普惠。

  经实际测试显示，APUS-xDAN 大模型4.0(MoE)从技术指标上来看，模型数学能力的GSM8K达到79分，理解能力的MMLU达到73分，推理能力的BBH达到了66分，综合性能超过GPT3.5，逼近GPT4，在数学能力上更是碾压马斯克开源的Grok。

  对政府而言，APUS-xDAN 大模型4.0(MoE)的诞生意味着在有限的国产算力资源下，我国依然能自主构建并运行顶级超大规模语言模型，大幅度的提高国家层面的技术自给自足能力与战略安全。

  对企业和个人开发者，尤其是资金有限的小创业者，无需斥巨资购置高端GPU，如A100和H100，仅需借助相对经济的4090，即可驾驭这款强大的AI工具，极大地降低了创新门槛，实现AI技术的普及与广泛应用。

  不难发现，此次开源的APUS-xDAN 大模型4.0率先引入MoE(Mixture of Experts)架构，成为国内首个开源的千亿参数MoE架构大模型。相较于其他宣称拥有MoE架构但未开源验证的模型，APUS-xDAN 大模型4.0(MoE)真正将MoE架构应用于超大规模模型。

  值得一提的是，APUS-xDAN 大模型4.0(MoE)采用GPT4类似的MoE架构，特点是多专家模型组合，同时激活使用只有2个子模块，实际运行效率对比传统Dense同尺寸模型效率提升200%，推理成本下降400%。在实际部署上，通过进一步的高精度微调量化技术，模型尺寸缩小500%，从而拥有了国内首个可以在消费级显卡运行的千亿MoE中英文大模型。

  这些特性赋予APUS-xDAN 大模型4.0(MoE)在处理复杂任务时，拥有无与伦比的学习效率与模型容量，为AI的边界拓展注入澎湃动力，为中国AI产业开拓了全新破局路线，成为国产大模型创新探索的先行军。

  此次，APUS-xDAN 大模型4.0(MoE)以令人瞩目的1360亿参数规模，一举超越当前国内最大开源模型——阿里的千问72B(720亿参数)，综合性能达到主流大模型TOP级。这一历史性突破，不仅见证了我国在超大规模预训练模型研发领域的重大飞跃，更有力彰显了我们国家的人工智能科研实力与技术创新力的国际地位。

  “AI的发展与应用，离不开大模型的支撑。而开源大模型的出现，则让更多的企业和开发者能利用这些模型，来构建更多人工智能+应用。”李涛表示，此次，APUS-xDAN 大模型4.0(MoE)的开源，某些特定的程度上填补了我国在千亿级别参数模型开源上的空白，也为人工智能技术的发展与应用带来了更多的可能性。

  自2014年创立以来，APUS至今已推出200余款应用产品，涵盖工具、内容与服务等多个场景。APUS转型人工智能后，重构自身原生产品矩阵，以工具+AI，内容+AI，服务+AI三层应用为全线产品赋能，探索孵化用户端超级应用。

  在行业应用场景上，从应用在G端网信领域能实现智能辟谣的「APUS智信大模型」，到加持B端医院智能诊疗的「APUS岐黄大模型」、智能电商营销的「APUS少伯大模型」，到C端拥有智能绘画能力的「APUS墨染大模型」、中文创作领域拥有AI写手能力的「APUS云梦大模型」，以及实现文生视频能力的「APUS墨视大模型」……APUS正加速实现大模型普惠，让AI应用更简单。

  在APUS AI开放实验室，开发者可通过API接口，快速部署自己的创想应用。如今，该AI开放实验室汇聚了来自全球的顶尖AI人才，通过APUS的算力支持，共同开源、开放最新的AI大模型，进而推动AI产业健康发展。

  据悉，此次开源的APUS-xDAN 大模型4.0(MoE)也是APUS继与深圳大学国家工程实验室联合开源APUS大模型3.0(伶荔)后，带来的又一个重磅大模型，标志着APUS在AI通用大模型的布局上更进一阶。

  未来，面对AI产业的发展与挑战，APUS将通过持续的研发技术与社区共建，积极探索解决方案，不断的提高开源大模型的稳定性和泛化能力，确保其在各类复杂应用场景中从始至终保持一马当先的优势，进一步赋能千行万业。

  特别提醒：本网信息来自于互联网，目的是传递更加多信息，并不代表本网赞同其观点。它的原创性以及文中叙述文字和内容信息没有经过本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作一切保证或承诺，并请自己检查相关联的内容。本站不承担此类作品侵犯权利的行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。