致力于应对人工智能评估的新岗位已经开始涌现

一些组织正在组建评估团队，因为他们发现通过初步测试的决策主体带来了令人惊讶的成果。

新的IT岗位正在涌现，帮助组织更好地评估从AI试点到全面部署的AI输出。

许多组织正在考虑组建或聘请人工智能评估团队，一些专家称这些新设立的职位是公司推出人工智能工具时不可或缺的保障网。

谷歌云产品管理、数据及AI云董事总经理Yasmeen Ahmad表示，AI代理的快速崛起推动了这一趋势，近几个月来AI评估团队开始成形。

“直到现在，我们还没有真正拥有多步推理、复杂自主的代理，”她说。“当客户观察代理人在现实中的行为时，可以这么说，人们意识到评估不是门槛，而必须是持续不断的实践。”

Ahmad表示，在谷歌，评估团队嵌入了代理开发团队，使两项职能同时进行。

“当特工构建者在建造时，评估也在同步进行，形成快速迭代循环，”她说。

其他组织也开始在其更大的AI和IT部门内组建人工智能评估工作组，软件开发公司Innowise的首席信息官Maksim Hodar表示。他指出，在某些情况下，公司将数据架构师、安全官员和合规负责人合并为新团队，而非从零开始招聘。

一、为什么AI评估变得必要？

他补充说，AI评估团队成员担任混合角色，既在原始编码与道德商业实践之间。

霍达尔说：“可以肯定地说，我们正在见证人工智能评估团队从’可有可无’向必需品的演变。”“我们观察到企业正在远离盲目采用人工智能，转而采用更为审慎的所谓’安全网’方法。”

他补充说，虽然包括可观察性和治理产品在内的一系列新兴工具专注于防止AI失误，但技术并非万全的解决方案。他说，关键在于人力决定IT工具是否符合公司价值观和GDPR等法规。

霍达补充道：“虽然技术可以识别技术错误，但无法评估上下文。”“技术有助于提供信息，但评估团队仍然批准。你无法自动化问责。”

谷歌的Ahmad补充说，人工评估团队需要可观察性工具提供的数据，但技术本身无法提供AI模型和代理修复不良输出所需的背景信息。她说，人工智能代理在测试环境中通过输出检查已经非常出色，但评估团队需要在现实环境中跟踪他们的输出。

“代理应用可能通过你刚才描述的这个具体场景的初步单元测试，”她说。“但智能系统是非确定性的决策者，因此它不具备行为;你不是在测试它在现实世界中可能表现的各种方式。”

她补充说，虽然可观察性工具可以提供令牌使用、工具使用、工具失效和推理错误的数据，但许多问题仍需要人工评估者来解决。她补充说，评估团队可以为代理常见的推理错误提供背景。

“当我们内部评估团队花大量时间在代理人身上时，很大一部分时间会在想，’为什么推理逻辑在这里失败了？’”艾哈迈德说。“那是因为特工没有足够的上下文。解决办法是在智能体的正确层级提供合适的上下文，使其能够做出更好的推理决策。”

二、复杂环境中的测试

Agiloft合同生命周期管理供应商AI运营副总裁Noe Ramos补充道，一个优秀的评估团队还会关注治理、文化准备、组织工作流程对齐以及AI工具可衡量的业务影响等多个问题。她说，仅靠技术无法解决所有这些问题。

“最大的障碍不是技术——而是人性，”她补充道。“你可以买了强大的工具，但如果人们不信任它们、不理解它们，或者看不到它们如何融入他们的工作，你依然会挣扎。”

与霍达尔和艾哈迈德一样，拉莫斯也看到对人工智能评估团队需求的增长，尽管这些角色更多地作为一种能力而非正式头衔逐渐浮现。

“随着组织超越实验阶段，他们意识到人工智能不能仅凭兴奋感部署，”她补充道。

她强调，随着组织扩展人工智能，正式的评估学科变得至关重要。

“归根结底，人工智能评估不仅仅是安全，更重要的是确保人工智能推动清晰度和行动，而不是增加噪音，”拉莫斯说。“或者，按照我们内部的定义，我们利用人工智能来推动清晰度和行动——而不是让团队被更多的仪表盘淹没。”

她指出，Ramos最近从IT副总裁晋升为AI运营副总裁，她的团队包括一名AI运营负责人、一名AI代理工程师以及一名GPT和AI系统负责人。目标是将评估嵌入阿吉洛夫特的人工智能作系统模型中。

她补充说，随着组织在人工智能应用上的成熟，从热情转向有序的评估正催生结构化评估职能的需求。

她补充道：“根据我的经验，最大的风险之一是人工智能项目可能被最吱吱作响的轮子驱动，而非真正的运营优先事项。”“我认为人工智能的发展不应依赖最响亮的声音;它应该是被放大以产生组织影响的。”

Ramos表示，在大多数企业中，评估角色应处于IT、安全、数据领导和运营利益相关者的交叉点，并补充说评估领导者还需要深入了解组织的运作方式。

“人工智能评估失败的原因之一是公司并不总是了解自己的工作流程，”拉莫斯说。“你无法智能地用未绘制的工作流程、未识别的瓶颈或未协调的优先事项来评估人工智能。”

由CXOUNION-CXO联盟（cxounion.cn）编译而成，作者Grant Gross；编辑/翻译：CXOUNIONCXO联盟小C。

如需加入CXO UNION（CXO联盟）高管社群，请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何责任。