AI导读:

近期,利用AI技术合成视频在社交媒体广泛传播的诈骗手段频发。文章探讨了AI诈骗的多种形式,包括仿冒客服诈骗和跨平台导流欺诈,并强调了构建“技术设防—平台阻截—多方协作”治理闭环的重要性,以及各平台在打击AI诈骗方面的努力。

“AI合成技术太逼真了,普通人对这种诈骗手段根本难以预防!”社交媒体重度使用用户陈女士向《科创板日报》记者吐诉。

《科创板日报》记者注意到,近期,利用AI技术合成视频并在社交媒体广泛传播的诈骗手段频发,对不知情的用户的财产保障构成显著威胁。亟待打造“技术设防—平台阻截—多方协作”的治理闭环,将诈骗犯罪行为掐灭于源头。

▍AI诈骗层出不穷,逼真、隐蔽使用户难以辨别

近年来,随着互联网技术的进步,电信网络诈骗手段也随之更新,呈现出定制化、隐蔽化、产业化的倾向。抖音、小红书、微博等社交媒体平台更是诈骗分子渗透的重点。

诈骗分子在平台建号养号、非法投放广告、获取个人信息、进行精准诈骗,再到洗钱套现,已形成了一个完整闭环的诈骗犯罪链条。

抖音方面介绍,目前抖音平台上诈骗主要分为两大类:仿冒抖音客服诈骗和跨平台导流欺诈。

仿冒抖音客服诈骗中,诈骗分子冒充抖音客服身份,直接联系用户进行诈骗。例如,今年5月,山东东营刘某接到自称抖音客服的电话,被骗16.8万元。

跨平台导流欺诈则是诈骗分子将用户引流至第三方平台。如山东网友贾某在抖音上看到理财直播,添加不法分子企业微信并安装其它APP,被骗27.5万元。

AI技术,尤其是大模型的热潮与开源特性,为诈骗分子提供了新工具。例如,利用AI合成语音模仿亲友诈骗,使用深度伪造证件冒充公职人员,借AI换脸技术假冒明星代言进行欺诈性营销等。

抖音风控专家刘一方向《科创板日报》记者表示,AI驱动内容诈骗是当前网络诈骗的重要形式,“越来越多的黑产使用AI技术生成诈骗脚本。”

《科创板日报》记者在小红书等平台观察到,有大量“AI换脸”明星的广告投放,包括影视片段、宣传视频、采访视频等。

例如,今年3月,明星古天乐、林峰的肖像和声音被诈骗分子“AI换脸”,用于赌博广告虚假宣传。当前,这类骗局持续高发,监管面临难度大、成本高的压力。

有用户表示,此类诈骗手段隐蔽且逼真,对其软件使用体验和日常生活带来很大影响。

▍AI诈骗需多方联动治理,形成监管闭环

面对AI诈骗持续高发,亟待打造“技术设防—平台阻截—多方协作”的治理闭环,实现犯罪行为的事前阻断。

今年3月,国家互联网信息办公室等部门联合发布《人工智能生成合成内容标识办法》,要求9月起,AI生成合成内容必须添加标识。

此项规定推出后,有望提升用户对AI视频的警惕性,遏制不法分子利用AI合成视频实施诈骗。

社交媒体平台作为诈骗活动的核心枢纽,需升级监管体系,强化账号治理、内容风控与资金拦截的协同机制。

抖音表示,平台已从技术、产品、服务三个维度构建全链路防护体系,每日封禁涉诈账号超8万个,有效拦截异常投稿、评论超过400万条。

小红书借助技术手段与大数据分析,及时发现并识别潜在诈骗风险,建立涉诈资金快速冻结机制,2024年对诈骗行为的主动拦截达94.3%。

通信专家、反诈民警、法学专家等人士表示,基于电信诈骗的复杂性,亟需各家企业与相关机构联动协作,共同应对产业化诈骗黑产。

抖音专职反诈人员表示,面对AI技术的挑战,需以“法律重器”划定红线、以“技术韧甲”扎紧篱笆、以“全民防线”织密护网,从根源上遏制网络与AI诈骗。

(文章来源:科创板日报)

关键词植入:AI诈骗、社交媒体、治理闭环、网络诈骗