
播客主持人谈论每天300美元的客服,AI专家表示,如果IT团队不限制使用,这个数字是现实的。
据两位IT专家兼热门播客《All In》联合主持人Jason Calacanis和Chamath Palihapitiya表示,如果没有适当的控制,AI代理的成本可能超过输出的价值。
在最近的一集中,长期科技投资者Calacanis指出,在他所在的一家机构使用Claude API时,代理费用迅速上涨到每天300美元。与此同时,这些年薪10万美元的代理人只替代了员工工作的一小部分。
“词元什么时候会超过员工的薪水?”他问。“因为你快要达到目标了。我也快达到目标了。”
风险投资公司Social Capital的首席执行官Palihapitiya表示,他们的组织为最优秀的开发者设定象征性预算,但不受限制的代理使用可能会变得昂贵。
“如果你把这些数据汇总到所有人身上,你会清楚地看到一个趋势,就是’现在他们至少需要比另一名员工的生产力高出两倍,’”他说。
他补充说,限制是必要的,否则他会花光钱。
该播客在X和LinkedIn上引发了一些关注,一些网友暗示AI公司的利润过高。还有人认为联合主持人的经历说明了组织为何需要严格控制经纪人支出。
“这并不是反对人工智能代理的理由,”人工智能解决方案供应商Addo AI的首席执行官艾莎·卡纳在LinkedIn上写道。“问题是你是否以经济合理的方式运营。大多数队伍还没准备好。”
其他几位人工智能专家表示,如果IT领导者不限制支出,每天300美元的成本是现实的。但他们说,只要有合适的控制措施,代理人的成本远远不够高。
一、定制Aegnts的费用
Solidmatics分时CTO服务提供商Vygandas Pliasas表示,如果没有控制,当组织使用昂贵且定制化的代理系统进行编码,并通过API运行而非直接使用编码工具时,代理成本可能会飙升。
“我有时一周能赚到500美元,而且那是用有意识、以人为主导的方式,”他说。“问题是,如果你让特工盲目地抹去和重写代码,你其实已经不算是自己做了,我会对质量产生严重怀疑。”
他补充说,允许代理接管编码和其他任务可能会带来安全及其他风险。
“我总说人工智能是一种工具,不是替代大脑的,”他说。“你用大脑来领导。你用人工智能更快地得到答案,但如果你盲目信任它,让它运行,那么你就会达到那个数字。而输出就不值得。”
此外,每天300美元的费用如果没有上下文可能会产生误导,AI驱动的站点可靠性工程供应商Cleric的首席执行官兼数据科学家Shahram Anver补充道。“当你给通用模型一个广泛的任务并让它自由运行时,就会发生这种情况,”他说。“这就像雇了一个没有明确范围的承包商,拿到发票时却很震惊。”
Cleric 以每天 300 美元的一小部分成本打造了一个站点可靠性工程(SRE)代理。它为特定目的而建,知道该问什么问题,什么时候该停止。
Anver表示,尽管可能超支,但许多情况下,代理比雇佣更多IT人员更具成本效益。“一个高级SRE满载每年成本超过20万美元,”他补充道。“如果代理能以极低成本完成80%的事件调查工作,重要的是输出是否值得信赖,而不是实际成本。”
不过,如果IT领导者不设定界限,组织很容易过于投入,他说。
“大多数公司都是通过痛苦的经历学到这一点,”安弗补充道。“团队里有人启动一个特工执行任务,成功了,他们告诉了队友,突然间,15个特工在无法察觉的情况下奔跑。”
二、更便宜的选择
部署Agents有昂贵的方法,也有更便宜的方式,AI聊天机器人和支持优化提供商Katico的客户体验/计算机科学软件分析师Kateryna Babenko补充道。
“如果你在前沿模型API上运行持久代理,伴随着高令牌消耗、长上下文窗口、多步推理和大量输出,经济学会很快变得糟糕,”她说。“有时候,每项任务的成本甚至比让一个人做还要糟糕。”
然而,Babenko补充说,一个范围更精细的代理配合一个更小、经过细致调优的本地或受控推理层运行的AI模型,成本可以低得多。
她说,Agents的两端是完全不同的运营模式,但许多公司并不区分它们。“他们一听到’代理人’就误以为是某一类消费,但其实不是,”她说。“这是一个广泛的范围,智能部署和草率部署之间的差距,可能轻松达到运营成本的10倍。”
因此,IT领导者应建模每个任务的令牌量,对其使用的模型层级的推理成本进行基准对比,并将这些成本与他们想替换或增强的工作流程的人工成本进行比较。
“那些能证明成本合理的Agents,是那些没人愿意手动完成的工作,任务有限制,输出可以被检查,人类能在错误蔓延前发现,”巴本科补充道。
IT领导者需要考虑代理的经济性以及技术影响。“那些管理得好的组织,会像对待其他可变成本运营资源一样对待,从第一天起就内置预算、控制、所有权和问责制,”她说。
三、对Agents的使用设定预算上限
Solidmatics的Pliasas建议对座席使用设定预算上限。他指出,主要AI提供商允许客户为每个API密钥或组织设定硬性支出上限。IT领导者可以为每个团队或工程师单独创建API密钥,并设定每月的金额上限。
对于像Cursor、GitHub Copilot或Claude的订阅计划这样的托管工具,组织的IT团队集中控制许可证,决定谁能获得席位、属于哪个等级,以及他们是能获得基础功能还是高级模型。
不过,Pliasas也建议IT领导者在预算上限方面保持灵活。
“这取决于所传递的价值,”他说。“如果工程师交付的是高质量、高影响力的功能,产出可能相当于一个10人团队一年的产出。在这种情况下,成本是合理的,你真的无法拿来和一个人的工资相比。”
由CXOUNION-CXO联盟(cxounion.cn)编译而成,来源于:数智化转型网;编辑/翻译:CXOUNIONCXO联盟小C。
如需加入CXO UNION(CXO联盟)高管社群,请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何责任。
如需加入CXO UNION(CXO联盟)高管社群,请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。
Search
Popular Posts
-
2024数字化灯塔案例评选申报开启!
“2024数字化灯塔案例评选”于3月正式启动,诚挚欢迎业界同仁自荐和推荐,一起推动产业数字化进程,助力赋能企业…
-
2024 X-Award星盘奖申报通道已开启!
X-Award星盘奖是数字化转型服务、IT服务行业重要的商业奖项,旨在表彰行业里提供杰出数字化转型服务与IT服…
-
2024 N-Award星云奖申报通道已开启!
N-Award是数字化转型领域重要的商业奖项,旨在表彰那些以非凡的远见、超群的领导才能和卓越的成就来激励他人的…




