
用户通过诱导企业聊天机器人执行与客户服务无关的复杂 AI 计算,这类行为正给企业带来高昂的治理成本与投资回报率损耗,成为部署 AI 客服的首席信息官们亟待应对的新风险。
简单来说,外部用户正在欺骗企业系统,让企业为非业务相关的 AI 计算买单,本质上这属于一种即时提示注入攻击。这类滥用行为不仅会推高企业 AI 服务账单,模糊投资回报率核算,还可能让企业遭遇 “钱包拒绝” 式攻击 —— 攻击者在按量付费的 AI 服务上发起大量高成本请求,直接侵蚀企业利润。
信息技术研究集团技术顾问贾斯汀・圣莫里斯表示:“这只是企业面临风险的冰山一角,更预示着一个更深层次的问题。” 潜在攻击者甚至会产生试探心理:“既然它们愿意为我生成代码,还能为我做些什么?”
安全人工智能联盟(CoSAI)与 ACM 人工智能安全(AISec)项目委员会成员尼克・凯尔指出,常规客服对话,如 “我的订单在哪”“营业时间是多少”,仅消耗 200 至 300 个 AI 代币;而诱导机器人用 Python 实现链表反转这类操作,代币消耗可轻松突破 2000 个,单次对话成本是正常咨询的 10 倍。
他补充道:“这类异常不会体现在成本异常报告中,系统只会将其视作普通客户对话。即便仅有 5% 的聊天机器人流量被滥用者利用,发起复杂查询,也会让企业 AI 预算出现季度核算无法解释的巨额缺口。”
一、核心症结:AI 客服缺乏判断力,滥用风险持续加剧
判断力是防范此类问题的关键,而当前聊天机器人恰恰严重缺失这一能力。
凯尔坦言:“人类具备天然的场景判断力,但企业 AI 客服仅配有‘你是一名贴心的客服人员’这类系统提示,这更像是一种建议,而非强制约束机制,堪称 AI 版的柔性警戒线。”
“但凡用过这类工具的人都清楚,只需基础的对话话术就能绕过系统提示,这正是当下企业普遍面临的问题。系统仅对会话本身进行核验,却无法识别用户意图。” 凯尔进一步解释道。
灰狗研究公司首席分析师桑奇特・维尔・戈吉亚认为,这一问题正不断恶化,而企业本身需承担主要责任。
“企业遭遇的并非简单的聊天机器人滥用,而是以客户服务为名部署通用推理系统所引发的连锁后果。” 他表示,“这类系统虽以对话界面设计呈现,经济层面却形成了开放式计算端口,使用目的与产品设计的错位,正是问题的核心根源。”
戈吉亚还表示,和诸多人工智能领域的挑战一样,随着模型迭代升级,这一问题只会愈发严重。
“模型性能提升无法解决问题,反而会加剧风险。随着 AI 能力更强、普及度更高、嵌入场景更深,合法使用与恶意滥用的边界会持续模糊。依赖被动管控的企业,成本将大幅攀升;将主动治理融入架构的企业,才能牢牢掌握主动权。这是行业的核心转变 —— 生成式 AI 正从试验阶段转向规模化运营,实操中,规则约束远比技术能力更重要。”
网络安全顾问、前政府部门执行董事布莱恩・莱文则提出,风控体系需将 AI 客服越狱滥用列为核心风险管理事项。
“必须将这类滥用视作一级风险,而非边缘特例。要针对可能有 5% 流量尝试越狱的场景搭建防护体系,无论用户是有意还是无意。提前布局的企业,能维持 AI 预算的可控性与客户体验的完整性;后知后觉的企业,只能面对无法解释的预算超支。”
二、AI 代币盗窃的实际表现:隐蔽滥用难察觉,成本损耗积少成多
这类聊天机器人滥用行为具体有哪些表现?社交平台上已涌现大量相关案例,LinkedIn、Reddit、Instagram 及 X 平台上,亚马逊聊天机器人被滥用的案例关注度最高,此外还有一则关于 Chipotle 的案例,不过 Chipotle 方面声称该案例为伪造。
亚马逊相关案例中,访客诱导客服机器人完成编程任务(如 “输出指定项数的斐波那契数列”),或是生成完整的博洛尼亚肉酱意面食谱。而网传的 Chipotle 机器人相关案例尚未得到证实,记者向原帖发布者发去问询信息未获回复,Chipotle 也拒绝了采访请求。该公司对外传播经理萨莉・埃文斯通过邮件回应称,这则刷屏帖是经过 PS 处理的,但未说明旗下聊天机器人 Pepper 的技术架构,也未解释判定图片造假的依据。
这类风险究竟有多严峻?业内观点并非完全一致。Info-Tech 的圣莫里斯认为,企业聊天机器人未必会收到大量此类恶意请求。
“用户难道不能通过免费账号使用 ChatGPT 吗?企业客服机器人或许是最不适合做这类事的工具。” 他质疑道。
但 AISec 的凯尔持相反观点,他表示免费生成式 AI 聊天机器人存在使用限制与访问门槛,“复杂需求很快就会受限,而企业客服机器人没有速率限制,属于无计量的推理端口,搭载的模型能力远超客服场景需求,堪称不受管控的开放终端。”
同时凯尔表示,这对多数首席信息官而言并非新鲜事。
“这一幕似曾相识,与 2010 年代初企业使用 REST API 的经历如出一辙。企业当初暴露 API 端口,默认用户为善意使用,结果遭遇大规模攻击,事后才补充速率限制与 API 密钥管理。如今 AI 端口正在重演这一模式,且单次请求成本高出数个量级。恶意者滥用 REST API,单次调用仅需几分钱;而通过聊天机器人发起复杂推理查询,企业要付出真金白银的成本。”
灰狗研究公司的戈吉亚补充道,即便滥用频率较低,其影响也会快速累积。
“这类结构性风险的核心在于,极少数恶意行为就能不成比例地拉高总成本。即便仅 5% 至 8% 的聊天机器人流量是非业务类高复杂度查询,也可能消耗四分之一乃至更多的总推理预算。这并非偶然异常,而是代币计费机制下可预见的数学结果。但这类损耗极少触发预警,因为不会出现数据突增,仅表现为单次会话成本、时长与代币消耗的缓慢攀升。”
“这还引发了更深层次的监管盲区。” 他继续说道,“当下多数企业仅追踪对话次数、总代币量、总成本等表层数据,极少关注意图层面的成本核算,无法区分合法客服咨询与无关计算产生的开销。数据面板仅展示发生了什么,却无法判断是否该发生,直到财务核查时才会发现预算缺口。”
高德纳副总裁分析师纳德・赫奈因则认为,当前供应商的定价模式,在一定程度上弱化了这类越狱行为的冲击。“多数大型企业要么采用无限量套餐,要么本地部署大语言模型,因此这类滥用不太可能让企业面临破产风险。”
三、风险防控策略:多措并举筑牢防线,回归 AI 治理本质
防范聊天机器人滥用最直接的方式,是设置规则限制用户仅提问与业务直接相关的问题。但这类限制难以精准落地,极易误伤客户的合理咨询;此外,大语言模型往往能轻易绕过这类防护屏障。
另一种思路是增设 AI 监督一线客服机器人,或不限制用户提问内容,仅管控单次回复的代币消耗。但代币上限可被滥用者通过拆分提示词规避,合法的复杂咨询也可能因代币限制被拦截,削弱 AI 客服的商业价值。
AISec 的凯尔建议采用组合式防控策略。
“真正有效的方案需整合行为分析,标记非客服类会话;实施超越流量维度的上下文速率限制;搭建单会话代币级监控体系,精准区分 200 代币的订单咨询与 2000 代币的编程需求。但多数企业并未落地这些措施,因为从未针对客服 AI 构建‘复杂资源滥用’威胁模型。这就好比企业 WiFi 未设密码,结果发现邻居在占用带宽进行加密挖矿。”
弗雷斯特副总裁兼首席分析师凯特・莱格特则建议,摒弃通用大语言模型,改用垂直领域专用的小语言模型,比如快消行业针对原料信息搭建的专用模型。
“这类模型可部署在私有云乃至本地服务器,便于严格管控,但成本也最高。是否值得投入,取决于企业的投资回报率与风险承受模型。”
Intrinsic Security 首席执行官加里・朗赛恩认为,部署第二台大语言模型审核用户查询,防控效果较为显著,但会产生额外代币成本,甚至造成响应延迟。“可通过与用户提示并行审核、采用本地部署大模型进行核验的方式,缓解这类问题。”
无论首席信息官采取何种防控手段,都需回归核心问题:客服 AI 的业务定位与预期目标究竟是什么?
穆尔洞察与战略公司首席分析师贾森・安德森表示:“企业需意识到,AI 客服已成为全新的销售渠道,而非单纯的客服成本中心。以往客服体系多以降本为核心指标,比如问题转接率,如今是否要纳入营收指标与业务配额?”
MassiveScale.AI 首席执行官约书亚・伍德拉夫则强调,首席信息官及其团队必须亲力亲为,落实 AI 治理的基础工作。
“范围界定、访问权限管控、使用场景边界划定这类繁琐工作,才是 AI 治理的核心。这类工作并无亮点,也不会因创新登上头条,更不会出现在企业新闻稿中,却恰恰是区分正规客服机器人与打着企业旗号的免费 AI 服务的关键。”
由CXOUNION-CXO联盟(cxounion.cn)编译而成,来源于:数智化转型网;编辑/翻译:CXOUNIONCXO联盟小C。
如需加入CXO UNION(CXO联盟)高管社群,请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何责任。
如需加入CXO UNION(CXO联盟)高管社群,请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。
Search
Popular Posts
-
2024数字化灯塔案例评选申报开启!
“2024数字化灯塔案例评选”于3月正式启动,诚挚欢迎业界同仁自荐和推荐,一起推动产业数字化进程,助力赋能企业…
-
2024 X-Award星盘奖申报通道已开启!
X-Award星盘奖是数字化转型服务、IT服务行业重要的商业奖项,旨在表彰行业里提供杰出数字化转型服务与IT服…
-
2024 N-Award星云奖申报通道已开启!
N-Award是数字化转型领域重要的商业奖项,旨在表彰那些以非凡的远见、超群的领导才能和卓越的成就来激励他人的…





