浪潮源 Yuan3.0 Ultra 多模态基础大模型开源发布：万亿参数，企业级任务表现突出

3 月 6 日消息，浪潮旗下 YuanLab.ai团队今日开源发布源 Yuan3.0 Ultra 多模态基础大模型，这是一款面向万亿参数规模打造的旗舰模型。

Yuan3.0 Ultra 将 MoE 大模型的训练效率优化系统性引入模型结构设计之中，并围绕企业应用及智能体工具调用等方面开展了深度优化，在多模态文档理解、检索增强生成（RAG）、表格数据分析、内容摘要与工具调用等企业级任务中表现突出。

这些能力使源 Yuan 大模型能够处理企业环境中的复杂信息形态，如图文混排文档、多级结构表格以及跨文档知识检索，为基于 OpenClaw 等智能体框架构建多模态数据驱动的企业 Agent AI 提供能力支撑。

Yuan3.0 Ultra 采用统一多模态模型架构，由视觉编码器、语言主干网络与多模态对齐模块组成，实现视觉与语言信息的协同建模。其中，语言主干网络基于混合专家（MoE）架构构建，包含 103 层 Transformer，训练初始阶段参数规模 1515B，通过 LAEP 方法创新，团队在预训练过程中将模型参数优化至 1010B，预训练算力效率提升 49%。

Yuan3.0 Ultra 的激活参数为 68.8B。此外，模型还引入了 Localized Filtering Attention（LFA）机制，强化对语义关系的建模能力，相比经典 Attention 结构可获得更高的模型精度表现。

Yuan3.0 Ultra 大模型全面开源，不仅包括模型权重（16bit 与 4bit 模型）、技术报告，也涵盖完整的训练方法与评测结果，支持社区在此基础上进行二次训练与行业定制。

源 Yuan3.0 基础大模型将包含 Flash、Pro 和 Ultra 等版本，模型参数量为 40B、200B 和 1T 等，相关成果将陆续发布。附 Yuan3.0 Ultra 开源地址如下：

https://github.com/Yuan-lab-LLM/Yuan3.0-Ultra

选择打赏方式

微信 支付宝 QQ钱包

打赏

打赏

打赏