AI导读:

腾讯与DeepSeek进行技术合作,实现了AI落地“最后一公里”的突破。此次合作让DeepEP实现了显著的性能提升,将直接惠及所有DeepSeek用户。腾讯选择基于以太网的RoCE网络部署,并自研通信库以提升AI网络性能。

界面新闻记者 | 陆柯言

几乎在马化腾与梁文锋同框引起关注的同时,Deepseek与腾讯悄悄进行了一次技术合作。腾讯工程师表示,此次合作实现了AI落地“最后一公里”的突破,对使用DeepSeek的用户产生了直接影响。

近日,DeepSeek工程师在Github透露了合作细节。腾讯团队的代码贡献,让DeepEP实现了显著的性能提升。此次提升,将直接惠及所有DeepSeek用户。

界面新闻独家采访了腾讯混元大模型背后的星脉网络团队,了解了此次合作的背景。今年2月,DeepSeek宣布开源五个核心代码库,其中包括专为MoE模型打造的通信库DeepEP,旨在优化通信、减少延迟,提高GPU资源利用率。

MoE架构以其对模型训练及推理成本的优化能力著称,被GPT-4、DeepSeek等超大参数模型采用。腾讯自研的混元大模型也采用了MoE架构,但依赖成本高昂的通信库。DeepEP的出现让它们摆脱了这种依赖,但在RoCE网络中性能不佳。

腾讯星脉网络团队首席架构师夏寅贲博士解释,大模型训练和推理需要大量GPU,成本极高。网络性能不佳会导致通信时间过长,浪费GPU资源,增加用户等待时间。得益于高并发业务需求,腾讯在网络通信软硬件方面有丰富的自研经验和实战经验。

因此,腾讯开始着手解决DeepEP在RoCE网络性能不佳的问题。基于自研TRMT通信库,结合研究经验,对DeepEP进行了优化,实现了在RoCEv2网络性能提升100%、IB网络性能提升30%。

腾讯星脉网络团队通信库架构师黄晓洁表示,性能提升意味着成本下降和用户等待时间减少。腾讯选择了基于以太网的RoCE网络部署,并自研了适应新型AI业务需求的通信库,以降低通信占比,提升AI网络性能。

目前,上述技术成果已全面开源至DeepEP社区,并应用于腾讯混元大模型等项目的训练推理。马化腾曾提及DeepSeek对腾讯的影响,并表示腾讯不仅是云业务接入了DeepSeek,元宝也选择了积极拥抱。

同时,腾讯也是全球开源社区的主要贡献者之一。开源对AI技术革命的参与者来说极为重要,是聚合开发者生态的战略选择。

(文章来源:界面新闻)