AI导读：

山西证券发布计算机行业报告，介绍字节豆包大模型团队推出的UltraMem架构，该架构解决了MoE架构的推理问题，推理速度提升2-6倍，成本最高降低83%。随着推理成本下降，AI应用生态将迎来繁荣。

2月18日，山西证券发布计算机行业报告，聚焦AI模型创新。字节豆包大模型团队推出了全新的稀疏模型架构UltraMem，成功解决了MoE架构在推理时产生的高额访存问题，其推理速度提升了2-6倍，推理成本最高可降低83%。

UltraMem架构在PKM（Product Key Memory）的基础上进行了优化，通过改进模型结构、value检索方式和稀疏参数，既保证了模型性能，又显著提升了推理效率。具体来说，UltraMem将PKM的单个内存层拆分为多个，均匀嵌入Transformer层中，实现了并行计算。同时，采用TDQKR乘法方法替代行列加权，提高了value检索的精确度。此外，UltraMem还引入了virtual memory，进一步提升了模型性能。实验显示，2000万value的UltraMem模型在同等资源下，推理速度和模型性能均处于业界领先地位。

随着推理成本的持续下降，AI应用生态将迎来繁荣。据Semianalysis数据，至2024年底，以GPT-3质量为基准，模型推理价格已下降1200倍。2025年，在DeepSeek等推理技术优化下，模型使用成本将进一步降低。字节的UltraMem架构将大幅降低主流稀疏模型的推理成本，推动AI应用加速落地，促进应用从云端向端侧拓展。

（文章来源：财中社）