企业AI客服暗藏成本陷阱：用户滥用计算致代币盗窃与 ROI 失衡

用户通过诱导企业聊天机器人执行与客户服务无关的复杂 AI 计算，这类行为正给企业带来高昂的治理成本与投资回报率损耗，成为部署 AI 客服的首席信息官们亟待应对的新风险。

简单来说，外部用户正在欺骗企业系统，让企业为非业务相关的 AI 计算买单，本质上这属于一种即时提示注入攻击。这类滥用行为不仅会推高企业 AI 服务账单，模糊投资回报率核算，还可能让企业遭遇 “钱包拒绝” 式攻击 —— 攻击者在按量付费的 AI 服务上发起大量高成本请求，直接侵蚀企业利润。

信息技术研究集团技术顾问贾斯汀・圣莫里斯表示：“这只是企业面临风险的冰山一角，更预示着一个更深层次的问题。” 潜在攻击者甚至会产生试探心理：“既然它们愿意为我生成代码，还能为我做些什么？”

安全人工智能联盟（CoSAI）与 ACM 人工智能安全（AISec）项目委员会成员尼克・凯尔指出，常规客服对话，如 “我的订单在哪”“营业时间是多少”，仅消耗 200 至 300 个 AI 代币；而诱导机器人用 Python 实现链表反转这类操作，代币消耗可轻松突破 2000 个，单次对话成本是正常咨询的 10 倍。

他补充道：“这类异常不会体现在成本异常报告中，系统只会将其视作普通客户对话。即便仅有 5% 的聊天机器人流量被滥用者利用，发起复杂查询，也会让企业 AI 预算出现季度核算无法解释的巨额缺口。”

一、核心症结：AI 客服缺乏判断力，滥用风险持续加剧

判断力是防范此类问题的关键，而当前聊天机器人恰恰严重缺失这一能力。

凯尔坦言：“人类具备天然的场景判断力，但企业 AI 客服仅配有‘你是一名贴心的客服人员’这类系统提示，这更像是一种建议，而非强制约束机制，堪称 AI 版的柔性警戒线。”

“但凡用过这类工具的人都清楚，只需基础的对话话术就能绕过系统提示，这正是当下企业普遍面临的问题。系统仅对会话本身进行核验，却无法识别用户意图。” 凯尔进一步解释道。

灰狗研究公司首席分析师桑奇特・维尔・戈吉亚认为，这一问题正不断恶化，而企业本身需承担主要责任。

“企业遭遇的并非简单的聊天机器人滥用，而是以客户服务为名部署通用推理系统所引发的连锁后果。” 他表示，“这类系统虽以对话界面设计呈现，经济层面却形成了开放式计算端口，使用目的与产品设计的错位，正是问题的核心根源。”

戈吉亚还表示，和诸多人工智能领域的挑战一样，随着模型迭代升级，这一问题只会愈发严重。

“模型性能提升无法解决问题，反而会加剧风险。随着 AI 能力更强、普及度更高、嵌入场景更深，合法使用与恶意滥用的边界会持续模糊。依赖被动管控的企业，成本将大幅攀升；将主动治理融入架构的企业，才能牢牢掌握主动权。这是行业的核心转变 —— 生成式 AI 正从试验阶段转向规模化运营，实操中，规则约束远比技术能力更重要。”

网络安全顾问、前政府部门执行董事布莱恩・莱文则提出，风控体系需将 AI 客服越狱滥用列为核心风险管理事项。

“必须将这类滥用视作一级风险，而非边缘特例。要针对可能有 5% 流量尝试越狱的场景搭建防护体系，无论用户是有意还是无意。提前布局的企业，能维持 AI 预算的可控性与客户体验的完整性；后知后觉的企业，只能面对无法解释的预算超支。”

二、AI 代币盗窃的实际表现：隐蔽滥用难察觉，成本损耗积少成多

这类聊天机器人滥用行为具体有哪些表现？社交平台上已涌现大量相关案例，LinkedIn、Reddit、Instagram 及 X 平台上，亚马逊聊天机器人被滥用的案例关注度最高，此外还有一则关于 Chipotle 的案例，不过 Chipotle 方面声称该案例为伪造。

亚马逊相关案例中，访客诱导客服机器人完成编程任务（如 “输出指定项数的斐波那契数列”），或是生成完整的博洛尼亚肉酱意面食谱。而网传的 Chipotle 机器人相关案例尚未得到证实，记者向原帖发布者发去问询信息未获回复，Chipotle 也拒绝了采访请求。该公司对外传播经理萨莉・埃文斯通过邮件回应称，这则刷屏帖是经过 PS 处理的，但未说明旗下聊天机器人 Pepper 的技术架构，也未解释判定图片造假的依据。

这类风险究竟有多严峻？业内观点并非完全一致。Info-Tech 的圣莫里斯认为，企业聊天机器人未必会收到大量此类恶意请求。

“用户难道不能通过免费账号使用 ChatGPT 吗？企业客服机器人或许是最不适合做这类事的工具。” 他质疑道。

但 AISec 的凯尔持相反观点，他表示免费生成式 AI 聊天机器人存在使用限制与访问门槛，“复杂需求很快就会受限，而企业客服机器人没有速率限制，属于无计量的推理端口，搭载的模型能力远超客服场景需求，堪称不受管控的开放终端。”

同时凯尔表示，这对多数首席信息官而言并非新鲜事。

“这一幕似曾相识，与 2010 年代初企业使用 REST API 的经历如出一辙。企业当初暴露 API 端口，默认用户为善意使用，结果遭遇大规模攻击，事后才补充速率限制与 API 密钥管理。如今 AI 端口正在重演这一模式，且单次请求成本高出数个量级。恶意者滥用 REST API，单次调用仅需几分钱；而通过聊天机器人发起复杂推理查询，企业要付出真金白银的成本。”

灰狗研究公司的戈吉亚补充道，即便滥用频率较低，其影响也会快速累积。

“这类结构性风险的核心在于，极少数恶意行为就能不成比例地拉高总成本。即便仅 5% 至 8% 的聊天机器人流量是非业务类高复杂度查询，也可能消耗四分之一乃至更多的总推理预算。这并非偶然异常，而是代币计费机制下可预见的数学结果。但这类损耗极少触发预警，因为不会出现数据突增，仅表现为单次会话成本、时长与代币消耗的缓慢攀升。”

“这还引发了更深层次的监管盲区。” 他继续说道，“当下多数企业仅追踪对话次数、总代币量、总成本等表层数据，极少关注意图层面的成本核算，无法区分合法客服咨询与无关计算产生的开销。数据面板仅展示发生了什么，却无法判断是否该发生，直到财务核查时才会发现预算缺口。”

高德纳副总裁分析师纳德・赫奈因则认为，当前供应商的定价模式，在一定程度上弱化了这类越狱行为的冲击。“多数大型企业要么采用无限量套餐，要么本地部署大语言模型，因此这类滥用不太可能让企业面临破产风险。”

三、风险防控策略：多措并举筑牢防线，回归 AI 治理本质

防范聊天机器人滥用最直接的方式，是设置规则限制用户仅提问与业务直接相关的问题。但这类限制难以精准落地，极易误伤客户的合理咨询；此外，大语言模型往往能轻易绕过这类防护屏障。

另一种思路是增设 AI 监督一线客服机器人，或不限制用户提问内容，仅管控单次回复的代币消耗。但代币上限可被滥用者通过拆分提示词规避，合法的复杂咨询也可能因代币限制被拦截，削弱 AI 客服的商业价值。

AISec 的凯尔建议采用组合式防控策略。

“真正有效的方案需整合行为分析，标记非客服类会话；实施超越流量维度的上下文速率限制；搭建单会话代币级监控体系，精准区分 200 代币的订单咨询与 2000 代币的编程需求。但多数企业并未落地这些措施，因为从未针对客服 AI 构建‘复杂资源滥用’威胁模型。这就好比企业 WiFi 未设密码，结果发现邻居在占用带宽进行加密挖矿。”

弗雷斯特副总裁兼首席分析师凯特・莱格特则建议，摒弃通用大语言模型，改用垂直领域专用的小语言模型，比如快消行业针对原料信息搭建的专用模型。

“这类模型可部署在私有云乃至本地服务器，便于严格管控，但成本也最高。是否值得投入，取决于企业的投资回报率与风险承受模型。”

Intrinsic Security 首席执行官加里・朗赛恩认为，部署第二台大语言模型审核用户查询，防控效果较为显著，但会产生额外代币成本，甚至造成响应延迟。“可通过与用户提示并行审核、采用本地部署大模型进行核验的方式，缓解这类问题。”

无论首席信息官采取何种防控手段，都需回归核心问题：客服 AI 的业务定位与预期目标究竟是什么？

穆尔洞察与战略公司首席分析师贾森・安德森表示：“企业需意识到，AI 客服已成为全新的销售渠道，而非单纯的客服成本中心。以往客服体系多以降本为核心指标，比如问题转接率，如今是否要纳入营收指标与业务配额？”

MassiveScale.AI 首席执行官约书亚・伍德拉夫则强调，首席信息官及其团队必须亲力亲为，落实 AI 治理的基础工作。

“范围界定、访问权限管控、使用场景边界划定这类繁琐工作，才是 AI 治理的核心。这类工作并无亮点，也不会因创新登上头条，更不会出现在企业新闻稿中，却恰恰是区分正规客服机器人与打着企业旗号的免费 AI 服务的关键。”

由CXOUNION-CXO联盟（cxounion.cn）编译而成，来源于：数智化转型网；编辑/翻译：CXOUNIONCXO联盟小C。

如需加入CXO UNION（CXO联盟）高管社群，请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何责任。