AI导读:

本文介绍了AI大模型的发展背景下,算力租赁市场的繁荣以及云服务商的涨价情况。同时,随着Agent的广泛应用,推理算力需求呈指数级上涨,对基础设施提出了新的挑战。

当下,AI大模型正处于从生成式AI走向代理式AI的关键时刻。腾讯、阿里等厂商通过发红包争夺用户,而算力租赁厂商成为赢家。云服务商优刻得宣布涨价,全线产品都会上涨。这一涨价源于全球供应链波动导致的基础设施成本上升和推理需求的旺盛。Agent的盛行使得推理算力需求呈指数级上涨,单次任务所需的推理次数增加,放大了Token的消耗,进而推高算力需求。对于边缘侧和端侧AI推理需求,会采用“云—边—端协同”的混合架构,根据实时性、隐私性、网络稳定性等因素进行部署。