组织部署Gen AI时会面临哪些挑战？

制药和生物技术公司赛默飞世尔科技 （Thermo Fisher Scientific） 的人力资源流程支持总监 Siobhan Kwiecien 在过去一年里一直致力于将生成式人工智能 （genAI） 嵌入到她公司的内部聊天机器人中。“这是一条相当长的路，”她说。

她说，这项技术的消费和定价模型“无处不在”，对“强大”人工智能解决方案的承诺也达不到要求。

“所以，我们花了这段时间沿着这条路走，然后突然间，就像，等等，这并没有完全按照我们想做的事，”Kwiecien 说。“我认为这正是我们使用其中一些生成式人工智能解决方案的本质。”

Kwiecien 的经历很常见。虽然到 2026 年，超过 80% 的企业将利用或部署生成式人工智能，但大多数（如果不是全部）都会遇到惊人的成本超支和预期的失败。Gartner 预计 2025 年与生成式人工智能相关的支出将达到 6440 亿美元，成本管理构成了一个关键挑战。要处理这个问题，需要明智的财务规划;IDC 预计，到 2027 年，75% 的组织将围绕 genAI 项目整合成本控制措施。

除了管理意外成本外，组织还面临部署时的其他挑战，包括数据风险、模型不准确、集成障碍、人才短缺、道德问题以及高基础设施需求。投资回报率不明、治理薄弱和供应商锁定使情况更加复杂。

一、害怕错过导致规划不周

生成式人工智能部署的成本可能迅速飙升至数百万美元，极少数情况下甚至超过10亿美元——这让组织措手不及。虽然这项技术能够带来价值，但缺乏完善的规划、治理和成本控制，随着费用、培训、集成和基础设施需求不断增加，它有可能成为一项不可预测的投资。

此外，数据清理、标记和管理是资源密集型过程，但必不可少。如果没有高质量、可靠的数据，生成式人工智能模型就会因一个众所周知的原则而受到影响：垃圾进，垃圾出。

“尤其是在人力资源领域，产生幻觉的风险很棘手，”克维琴说。“当有人问福利政策时，你不希望他们产生幻觉，让人们以为他们得到了其实没有的东西。”

训练大型语言模型（LLM）——尤其是定制模型——计算量大且成本高昂。招聘或签约AI工程师、数据科学家和MLOps专家也成本高昂。

然而，害怕被忽视却可能推动许多生成式人工智能试点，并促使公司拥抱像OpenAI的ChatGPT这样的潮流技术——据芝加哥RHR International咨询公司CIO布莱恩·格林伯格介绍，常常在高管压力下缺乏合理的成本规划。他说，组织常依赖过于简化的电子表格来跟踪成本，忽略了微调、API、顾问、数据准备和治理等关键开支。

格林伯格说，一个稳固的成本模型应当既包含实施，也要考虑到许多生成式人工智能实验会失败的现实——这没关系。他说：“最大的成本问题发生在组织匆忙投入时，没有任何防线、没有明确的目标，也没有明确的人工智能实际价值所在。”“这就像买辆兰博基尼送披萨一样;快速且有趣，但极不搭调。”

格林伯格说，RHR 对生成式人工智能采取了谨慎、安全优先的方法。内部工作组领导正在进行的测试，重点关注隐私、道德和企业控制。以正确的速度移动有助于瞄准关键工作流程，避免影子 IT，并建立对员工的信任。

“这不是要少花钱，而是要明智地花钱，”格林伯格说。

Gartner 高级研究总监 Nate Suda 对此表示同意，并表示组织之所以抢先一步，是因为“没有人愿意在火车驶离时被留在站台上”。

许多组织开发有前景的试点项目，但在企业范围内推广时面临挑战。Gartner预测，两年内将有40%的智能人工智能和30%的生成式AI项目因项目失败而终止。“我们认为成本是AI和生成式AI成功的最大短期威胁之一。我们看到一半的组织因为成本模型错误而撤回相关项目，”须田说。

第三方生成式AI工具或平台的初始低成本可根据查询与答案定价模型的扩展和许可费用逐步递增。

二、防御、扩展还是颠覆？选择哪种模型

GenAI 或代理 AI 通常由公司使用三种策略进行部署：“防御”，以保持其竞争地位;扩展“以扩展能力;以及“颠覆”，通过创新颠覆和占领新市场。

例如，最流行的框架 defend 可能涉及客户服务聊天机器人，通过缩短响应时间来减少客户流失。例如，电信公司可以使用扩展策略，让 genAI 根据使用模式追加销售个性化计划。颠覆模式可能是人工智能优先的法律或医疗初创公司挑战传统服务模式所采取的策略。

事实上，许多法律领袖表示，现在是时候取消按分钟计费，转而采用基于结果的定价;这是因为时间不再具有相同的价值，因为生成式人工智能工具可以极大地加快服务速度。

Suda 说，颠覆人工智能战略的风险尤其大。与 Netflix 或 Uber 等过去的数字颠覆者不同，Upend AI 战略不仅帮助一家公司领先，还同时撼动整个行业。“因此，当我们对高管说，如果你想从人工智能中获得短期价值创造时，这通常有点像玩彩票，”Suda 说。“这很昂贵，很耗时，你可能不会成功，所以这不是你想玩的地方。”

每种人工智能策略的成本可能会有很大差异。成本估算有时可能超过最初预测的五倍或十倍。对于“扩展”战略尤其如此，在这种战略中，组织从小处着手，并取得了一些快速成功，然后成本失控。

Gartner 公司

“Extend 是我们看到创造最大价值的地方，但这也是我们看到最意想不到的成本发生的地方，”Suda 说。“首席执行官会问，’我们要花多少钱——比如每个用户每月 10 美元？’首席执行官们会说，’太棒了，让我们把它交给每个人，然后我们看看会发生什么。

随着组织向更多员工提供 genAI 访问权限，成本开始上升，这通常发生在发现初始价值后。

三、做Gen AI业务的主要成本

根据 Gartner 的数据，不包括数据转换成本，使用 Microsoft Copilot、Google Gemini 或 DeepSeek 等工具的防御 AI 策略成本约为每位员工 500 美元，而扩展模型的成本从 25 万美元到 500 万美元不等，颠覆框架的成本从 2000 万美元到 2.5 亿美元不等。

Suda 说，Microsoft 365 Copilot 是按用户/每月或每年定价模式的一个典型例子——而且通常是固定的。“所以，你要支付的只是用户数量乘以每用户许可证，也许还有一点集成，”他说。

但那些所谓的“固定成本”是骗人的。例如，Copilot 成本需要的不仅仅是每个用户每年 500 美元的许可费。

与大多数技术项目一样，生成式人工智能计划也伴随着广泛的成本。最大的通常是与开发相关的，包括工程师、数据科学家、人工智能专家、项目经理以及提高工人技能的需求;后者是许多公司现在面临的问题。

一个成功的项目带来的一个问题是 Suda 所说的“像狼一样饥饿”的场景，用户喜欢聊天机器人并且无法获得足够的它。“每次互动一个答案是不够的。因此，用户每次问四个问题，每天使用四次，而不仅仅是一次，“Suda 说。

公司还需要考虑基础设施成本、云托管服务（来自 AWS、Microsoft、IBM 和其他公司）以及 GPU 和数据工具的成本。AWS 和 Microsoft 等供应商提供成本估算框架，概述了从概念验证到全面部署的场景。Gartner Research 还提供成本建模工具。

此外，FinOps 基金会还提供有关如何更好地估算 genAI 工作负载成本的信息;如何预测人工智能服务成本;优化对生成式人工智能预测的影响;以及本地 genAI FinOps 与云 FinOps 之间的比较。

组织经常犯的一个常见错误是过于关注初始构建和培训，而低估了推理和运营等持续成本。

另一个关键因素是数据，即使用哪些数据、数据位于何处以及如何准备数据。这部分经常被忽视，但对成功至关重要。

最后，团队经常低估所需的人类专业知识，或者他们陷入决定是内部构建还是从提供商处购买的困境。即使是那些拥有自己的硬件的人也可能会遇到 GPU 和可扩展性挑战。

每个人工智能提供商也有许多不同的模型，每个模型的价格差异可能很大。“我们谈论的是数十倍到数百倍的价格差异，这取决于你是使用这种不太好的型号，还是使用这种最新最好的型号，”Suda 说。

Gartner 公司

AI供应商的定价模型也可能波动很大。大多数AI提供商通过你在查询或“提示”中使用了多少词或字符来衡量AI的使用情况。换句话说，就是按输入和输出来衡量。

三、代币——新的定价模式

和大多数其他单位一样，OpenAI的计量单位是“token”。一个token大约相当于四个字符，也就是英文单词的四分之三，因此一个单词大约是1.33个token。OpenAI按使用一百万个token收费。

AWS企业财务策略师Chris Hennesey说：“人们往往不完全理解，也不习惯于吸收和输出。”“那么，你如何建立成本模型呢？因为我认为，很多公司要么没有做到，要么做得不对。”

型号价格差异很大。GPT-4.1 mini 每百万个输入代币收费 80 美分，一百万个输出收费 3.20 美元，而 GPT-4.1 对 100 万个输入收费 3 美元，对一百万个输出收费 12 美元。对于其他型号来说，这些成本可能会更高。

Suda 建议组织首先尝试更便宜的型号，看看他们是否能像更昂贵的型号一样处理这项工作。“最大限度地降低成本的最大方法：您可能不需要 50 名员工使用该应用程序。你可能只需要把它提供给五个人，他们会从中获得真正的价值，“他说。

Suda 说，人工智能的成本效益还取决于三个因素：输入/输出质量、迭代次数和人工智能就绪数据——如果你从头开始，最后一个因素至关重要。

“你会在输入和输出代币上发现价格的巨大差异，”Suda 说。“进入游戏的构建成本相当低，但一旦你开始使用它，成本就会上升。假设您有 400 个用户要开始。到第四年，你可能会有 2,000 名用户。

“那么，会发生什么？到第四年，你的消费量增加了，你的成本增加了四倍，“他说。

“GenAI 不像 Google，但一些组织像 Google 一样使用它——你进入它并提出问题并得到答案。这并没有真正发生，“苏达继续说道。“你得到一个答案，经常会想，’这不完全是我想要的。’因此，这让他们想问另一个问题。这会迅速增加您的成本。

四、可能累积的隐性成本

赛默飞世尔科技的 Kwiecien 表示，一项尚未考虑的成本涉及测试。“每次你提出一个问题并测试它，这都是成本，”她说。“我不会只是加载 500 次，因为每次都会让我付出代价。

“我们需要测试人工智能对常见问题给出良好答案的频率，例如’招聘流程是怎样的？’或’我的 401（k） 信息在哪里？’，”她说。“但每次测试都需要花钱，所以我们必须平衡准确性和成本，并决定测试多少次才能对结果充满信心。”

Thermo Fisher目前正在使用ServiceNow的虚拟聊天机器人，并希望通过添加生成式AI层来提升其直观性。因此，他们目前正在关注Microsoft、IBM等公司的生成式AI解决方案。Kwiecien表示，经过“迭代”后，他们通过聊天机器人技术取得了成功成果。

在招聘中使用 genAI 的努力可能会带来另一个成本。赛默飞世尔人才招聘副总裁艾米·里特 （Amy Ritter） 表示，该公司实施了 Phenom 的一款由 genAI 驱动的招聘应用程序，以自动化其全球制造招聘平台的部分内容。然后，该公司不得不投资工作预览视频，向候选人展示在赛默飞世尔工作的感觉——涵盖环境、所需的个人防护装备和关键技能——因为招聘人员没有参与到流程的早期。

Ritter 说，变革管理的成本也经常被忽视。“我们投入了时间和金钱访问网站、吸引领导者并建立支持，这在发布时就得到了广泛的采用，”她说。

然而，Ritter 说，将 Phenom 的 genAI 注入其人力资源招聘平台获得了丰厚的回报。它将候选人的筛选时间从 16 天缩短到仅 7 分钟。Ritter 说，除了自动化面试安排外，赛默飞世尔每年累计节省了 8,000 多个小时的候选人筛选时间，12,000 小时的排班时间，填补职位的速度提高了 10%。

此外，还有基础设施成本——根据 AWS 的 Hennesey 的说法，构建、运行和维护服务器场（包括托管服务）的成本也经常被低估。“一位保险客户正在运行 200 个 [概念验证]，但无法阐明预期值——大多数只是实验。我们的建议是：明确定义问题，使其与组织目标保持一致，并衡量预期回报，“他说。

从试点转向生产也可能是一个成本的软肋，从本地转移到云也是如此;后者意味着需要了解和预测的新服务和定价模型。

AWS 的 Bedrock、Microsoft 的 Azure AI Studio、Google 的 Cloud Vertex AI、IBM 的 Watson.ai 和 Cohere 的 Platform 都是完全托管的服务产品，允许 AI 开发人员通过单个 API 使用顶级基础模型构建应用程序，无需基础设施管理。“你按每个型号、每个地区付费，”亨内西说。“而且，然后你必须考虑代币。”

向供应商做出“产能承诺”可以降低成本。Hennesey 说，因此，“按需”购买容量的组织可以在特定时间内（无论是一个月还是六个月）做出 LLM 容量承诺，并节省高达 60% 的成本。

底线：生成式人工智能项目的成本仍然存在很多不确定性，因为该技术仍处于早期阶段，并且仍在不断发展。

“我觉得我们 [总是] 得到很好的答案，因为人们不确定它将如何使用，”Kwiecien 说。“因此，很难理解你未来的使用情况会是什么样子，因为我们无法知道人们需要多快才能转向它。

“我们能多快获得解决方案，以真正回答我们希望它回答的方式？”

由CXOUNION-CXO联盟（cxounion.cn）转载而成，来源于数智化转型网；编辑/翻译：CXOUNIONCXO联盟小O。

如需加入CXO UNION（CXO联盟）高管社群，请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任