腾讯与DeepSeek技术合作,实现AI落地突破
AI导读:
腾讯与DeepSeek进行技术合作,实现了AI落地“最后一公里”的突破。此次合作让DeepEP实现了显著的性能提升,将直接惠及所有DeepSeek用户。腾讯选择基于以太网的RoCE网络部署,并自研通信库以提升AI网络性能。
界面新闻记者 | 陆柯言
几乎在马化腾与梁文锋同框引起关注的同时,Deepseek与腾讯悄悄进行了一次技术合作。腾讯工程师表示,此次合作实现了AI落地“最后一公里”的突破,对使用DeepSeek的用户产生了直接影响。
近日,DeepSeek工程师在Github透露了合作细节。腾讯团队的代码贡献,让DeepEP实现了显著的性能提升。此次提升,将直接惠及所有DeepSeek用户。
界面新闻独家采访了腾讯混元大模型背后的星脉网络团队,了解了此次合作的背景。今年2月,DeepSeek宣布开源五个核心代码库,其中包括专为MoE模型打造的通信库DeepEP,旨在优化通信、减少延迟,提高GPU资源利用率。
MoE架构以其对模型训练及推理成本的优化能力著称,被GPT-4、DeepSeek等超大参数模型采用。腾讯自研的混元大模型也采用了MoE架构,但依赖成本高昂的通信库。DeepEP的出现让它们摆脱了这种依赖,但在RoCE网络中性能不佳。
腾讯星脉网络团队首席架构师夏寅贲博士解释,大模型训练和推理需要大量GPU,成本极高。网络性能不佳会导致通信时间过长,浪费GPU资源,增加用户等待时间。得益于高并发业务需求,腾讯在网络通信软硬件方面有丰富的自研经验和实战经验。
因此,腾讯开始着手解决DeepEP在RoCE网络性能不佳的问题。基于自研TRMT通信库,结合研究经验,对DeepEP进行了优化,实现了在RoCEv2网络性能提升100%、IB网络性能提升30%。
腾讯星脉网络团队通信库架构师黄晓洁表示,性能提升意味着成本下降和用户等待时间减少。腾讯选择了基于以太网的RoCE网络部署,并自研了适应新型AI业务需求的通信库,以降低通信占比,提升AI网络性能。
目前,上述技术成果已全面开源至DeepEP社区,并应用于腾讯混元大模型等项目的训练推理。马化腾曾提及DeepSeek对腾讯的影响,并表示腾讯不仅是云业务接入了DeepSeek,元宝也选择了积极拥抱。
同时,腾讯也是全球开源社区的主要贡献者之一。开源对AI技术革命的参与者来说极为重要,是聚合开发者生态的战略选择。
(文章来源:界面新闻)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。