跳到正文
Google DeepMind·· 8 天前精选AI 评分58

Google DeepMind与新加坡政府合作开发端侧诈骗检测模型

Google DeepMind and Singapore Government collaborate to build fine-tuned AI model for scam detection

内容导读

Google DeepMind与新加坡政府科技局(GovTech Singapore)合作,基于轻量级Gemma模型微调出一款端侧诈骗检测模型,用于识别冒充机构、银行及本地人物的诈骗对话。模型在设备本地处理对话,官方称新加坡政府和Google均无法通过该部署访问用户对话;应用内推出将分阶段进行,目前尚未实际部署。

推荐理由

模型尚未在应用中实际部署,文中所述为合作开发与分阶段推出安排;效果来自合成对话与本地语料的压力测试,非真实使用数据。

中文解读

为什么要在手机本地做诈骗检测

新加坡的诈骗问题在官方描述中已不只是零星案件。Google DeepMind与新加坡政府科技局(GovTech Singapore)在合作公告中称,投资诈骗、虚假招聘和冒充公职人员等诈骗占新加坡报案犯罪的一半以上,自2019年以来造成超过40亿新元损失。公告还提到,诈骗手法正从简单钓鱼转向复杂的社会工程:攻击者先用有说服力的对话操纵受害者,再提出转账要求,这类诈骗目前占全部损失的八成。

这类对话式诈骗给传统检测出了难题。通用模型往往不熟悉本地化的欺骗话术,而依赖云端扫描消息的做法又会在端到端加密的聊天场景中遇到隐私与可行性障碍。双方给出的方案是把检测放到用户设备上:用Google的轻量级Gemma模型,在新加坡本地的诈骗对话上做微调,让模型区分正常的社交闲聊与真正的操纵意图。

模型怎么工作,以及它现在还不在用户手机里

按公告描述,模型采用两阶段流程。第一阶段是一个轻量分类器,以较低功耗筛查新收到的消息,负责捕捉潜在威胁;第二阶段再用微调后的Gemma模型分析更大范围的对话片段,确认威胁或排除误报。检测到操纵性对话模式时,模型会在设备上实时弹出警告,提醒用户暂停、谨慎,在分享敏感信息或资金前先停一停。

需要分清的是,这条公告讲的是合作开发与部署安排,不是已经上线的产品。公告明确说,模型在应用内的推出将“谨慎分阶段”进行,并与新加坡政府合作开发;部署后,模型只能在用户同意、且符合该应用使用条款的前提下访问设备上的对话。由于模型完全在设备端运行,公告称新加坡政府和Google都无法通过该部署访问用户对话。

治理与测试:公告给出的边界

公告把治理作为这项合作的卖点之一。微调在新加坡政府科技局管理和维护的GCP环境中进行,训练数据保持隔离;训练严格排除私人或可识别个人身份的信息,使用的是从诈骗报告和情报来源衍生的匿名数据集。测试方面,模型针对合成对话和本地语料做了压力测试,覆盖多种诈骗类别和不断演变的冒充手法。

这些信息说明了开发流程的自我约束,但也划出了证据的边界:公告没有给出检测准确率、误报率或真实用户中的使用数据,压力测试用的是合成对话与本地语料,不等于真实部署后的效果。公告同时表示,这项合作在2026年新加坡国际网络周(SICW 2026)上展示,并称其为消息平台在用户保护与端到端加密之间寻求平衡的一个范例。

这件事与人的处境

对普通用户而言,这项合作触及的是一个很具体的处境:诈骗不再只是可疑链接,而是一段听起来合理的对话,受害者往往在情绪被调动后才被要求转账。把检测放在设备端,理论上可以在对话进行中给出提醒,而不必先把消息送到云端。

但公告本身也提示了尚未回答的问题:分阶段推出意味着覆盖范围和上线时间都还不确定;用户是否愿意授权应用访问对话、警告出现后是否真的改变行为,公告都没有提供数据。公告最后说,双方期待分享更多合作进展,并探索把类似技术部署到其他国家。就目前材料看,这是一项已宣布、尚待落地的合作,而不是已被验证有效的防诈工具。

来源:Google DeepMind · deepmind.google