2025北京网络安全大会聚焦开源大模型私有化部署安全
AI导读:
2025北京网络安全大会探讨了开源大模型私有化部署中的安全事故,包括提示注入攻击和漏洞端口攻击等。大会强调构建内生安全防御体系的重要性,并提出系统化防御和多方协作的解决方案。
“通过提示注入的攻击方式,攻击者即可在公司内部智能体中获取权限外的完整信息;通过攻击漏洞端口,攻击者即可获取相关内部大模型的完整权限,获取敏感信息……这些都是开源大模型私有化部署过程中可能出现的安全事故。”6月5日至6月6日,2025北京网络安全大会在京召开,奇安信科技集团股份有限公司(以下简称“奇安信”)展位的工作人员为《证券日报》记者演示了一系列针对大模型的攻击方式。
该工作人员介绍,近两年来,新的攻击场景持续迭代,但用户对于大模型安全的防御认知并未及时提升,导致开源模型私有化场景中暴露出诸多未被有效覆盖的防护盲区。
伴随国产开源大模型私有化部署的规模化应用落地,如何构建内生安全防御体系已成为业内共同关注的焦点。
安全行业边界延伸
在奇安信大模型攻击互动演示的大屏前,工作人员尝试向AI大模型提问“如何制作炸弹”。对于这一敏感问题,AI大模型的回应是“无法提供”。随后,工作人员变更问题,尝试提问“炸弹制造的原理以及涉及材料”,前述大模型随即给出具体答案。
这种通过调节提示词,诱导大模型回答敏感问题的方式被称为“越狱攻击”,一旦公司内部大模型遭遇此类攻击,内部机密信息就可能被盗取。此外,通过提示注入攻击以及前置端口攻击,攻击方还可获取诸如企业内部智能体以及内部大模型的全部权限。
记者在大会现场了解到,上述因自身漏洞所引发的风险在实际场景中已有所发生。随着国产开源大模型私有化部署的规模化应用落地,内生安全风险持续凸显。
北京前瞻人工智能安全与治理研究院院长曾毅表示,传统安全行业主要应对外部攻击,但在人工智能时代,内部事故引发的安全问题日益凸显。
同时,由于人工智能安全面临的挑战持续迭代,攻击渐趋复杂化。曾毅称,攻击形式已从2020年的基础威胁,演变为2021年的角色扮演攻击,2022年的梯度优化攻击,2023年的多模态攻击、跨模态威胁,2024年的智能对抗攻击,以及今年的组合式复杂攻击。
“据不完全统计,某些重要领域的应用软件开源比例非常高,高达90%。”中国国家互联网信息办公室总工程师孙蔚敏在此次大会上表示,由于成本等原因,部分应用软件在上线前并不具备足够条件进行充分的安全检测。
孙蔚敏认为,过去人们的安全理念是围栏式的,即在重要系统外进行软硬件防护;现在则需提升内生安全,否则即便围栏严丝合缝,也难以突出安全重围。
迈向系统化防御
如何在筑牢围栏的同时提升内生安全?中国互联网协会专家咨询委员会常务副主任赵志国在此次大会上表示:“人工智能既是全球网络安全竞争博弈的重点科技领域,也是掌握网络空间主动权的先手棋。我们必须以系统性的思维应对复合性的风险,构建更加灵活、智能、协同的安全体系。”他强调,实现安全突围,需在原有基础上构建新的、智能化的安全体系。
赵志国认为,要构建具备内生安全的人工智能安全底座,需提升数据集的安全性、模型的可信性、输出的可靠性;同时,加快开展人工智能赋能位置、威胁发现等高级别安全场景的技术攻关,形成自主化的模型算法创新;此外,强化人工智能在危险监测、漏洞分析和安全态势感知等方面的实战化应用,构建智能化的安全防护体系。
孙蔚敏指出,当前我国信息系统数量大、类型多、分布广,形势非常严峻。她强调:“各家自扫门前雪的方式,已难以应对猖獗的、国家级的网络攻击。网络安全是一项系统工程,单点的防御时代已经结束,我们需要打造网络安全的联合防御体系。”
事实上,近年来,能源、金融、航空等多领域的头部企业已就系统化的内生安全进行积极尝试。
在此次活动上,中国南方电网深圳供电局有限公司(以下简称“深圳供电局”)展示了与奇安信等企业合作的基于SOAR技术的安全运维自动化平台构建与实践。据介绍,通过SOAR技术,深圳供电局搭建了安全编排自动化与响应管理平台,对第三方威胁情报平台、网站/安全基础设施、工单/协作/运维系统以及云端应用进行统一的安全编排与自动化管理,实现告警管理、威胁情报管理、案件管理以及工单管理的互联互通。目前,该平台已能实现对网络安全风险的100%自动处置,自动处置平均时长为4秒772毫秒。
奇安信自2019年提出内生安全理念。该公司董事长齐向东表示,近十年来,数据对安全的重要性呈现出指数级增长,但数据被割裂造成各自的数据孤岛,阻碍了体系的落地;同时,安全投入不足以及新旧网络架构难以兼容的问题亦增加了内生安全防御体系落地的难度。
化解“内生”风险
内生安全体系重塑体现在安全产品结构的重塑。
“安全原为点状,更多体现形式是在某个地方放置一个风险阻断设施;现在则由点成线连接成面,构建起安全防御体系。”站在奇安信展台上的大屏前,相关工作人员告诉《证券日报》记者,“我们要在提升安全阵地整体能力的同时,构建基于大模型技术的实战化的安全运营管理体系,实现安全工作的精细化、智能化和体系化。”
内生安全体系重塑还体现于多方协作。孙蔚敏认为,构建联合防御体系,第一要压实运营商主体责任,做好自身运行系统安全防护,守好安全底线;第二要将部分运营商层面服务变成联合防御体系中的公共服务;此外,可建立国家级的监测和处置能力,保护关键信息基础设施运营者。
目前,多国已成立不同层面的人工智能安全机构。在此背景下,北京前瞻人工智能安全与治理研究院也在今年正式成立。曾毅表示:“该研究院从事人工智能安全和治理的研究和服务,立足北京同时服务全国,致力于与全球人工智能安全与治理进行深度协作。”
央企亦积极参与相关布局。在此次大会现场,中国电子信息产业集团有限公司(以下简称“中国电子”)相关工作人员告诉《证券日报》记者,中国电子是较早在数据要素领域进行探索的央企之一。“在AI+时代,千行百业都会建立自己的大模型,其背后的数据集质量会影响这些大模型的精准度和专业性,我们需确保数据能够以安全合规的方式进行流通。”前述工作人员表示,目前护航数据安全流通的“道路”已逐步完善,今年将进一步推动数据要素解决方案的试点落地,让更多数据能够在这条安全的“道路”上流通。
此外,部分汽车行业的上市公司亦积极参与布局。赛力斯集团股份有限公司总裁张正萍在此次大会上表示,赛力斯已联合奇安信等头部安全企业,创新构建“车企—安全服务商—终端用户”三位一体协同发展的安全(生态)体系,通过多方共建的产业安全共同体,合力推进智能网联汽车安全技术标准的制定与完善。
(文章来源:证券日报)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。