
随着环境文档和生成式人工智能在临床工作流程中传播,医疗IT领导者正在重新评估治理、安全和架构,以保护受保护的健康信息,同时不减缓创新进程。
医疗机构正面临将生成式人工智能付诸实践的巨大压力。但与许多行业不同,他们不能快速行动,事后再解决问题。最早的大规模部署,尤其是环境临床文档,已经带来了可衡量的成果。但与此同时,他们也暴露了受保护健康信息(PHI)和临床信任的新裂痕。
目前出现的不是AI采用速度的放缓,而是AI引入方式的重新设计。医疗行业的CIO、CISO和临床信息学领导者正达成共识:要安全地扩展人工智能,必须并行重新思考治理、安全控制和基础设施。
根据Parkview Health电子健康记录高级副总裁兼CMIO马克·马布斯的说法,环境记录,也称为环境聆听或AI图表,已迅速成为医疗领域最显眼的生成式人工智能应用场景。通过捕捉和总结医患对话,该技术有望减少临床人员倦怠,同时提升文档质量。“这有助于我们的医疗提供者更快地完成笔记,”他说。“这减少了打字量和认知负担。”
然而,这种势头迫使IT领导者面对传统医疗架构未能解决的新运营问题。组织越接近生产规模,风险轮廓就越复杂。
“音频处理在哪里?”马布斯问。“是在现场吗,云层里?受保护的健康信息是否被保留在其中?谁来验证输出?这些都是我们必须评估和验证的,甚至在考虑将工具投入生产之前。”
新兴医疗人工智能的核心理念是所有决策都由人类做出。辅助系统可以起草笔记、总结图表或建议应对方案,但临床医生始终保持在知情的基础上。“医生仍然需要编辑并签署,”马布斯说。
这种人机参与的要求不仅满足监管者的需求,还影响了组织如何划分风险和优先级部署。在Parkview,AI用例按临床影响和自动化程度正式分类,高风险场景面临更严格的审查。这种谨慎的姿态反映了早期飞行员们辛苦学到的教训。Mabus表示,在某些情况下,技术上令人印象深刻的工具未能提供临床价值。“当我期待三行,却得到九段时,这会增加额外的认知负担,”他说。
这一经验强化了医疗IT领域普遍共鸣的更广泛观点:临床可用性与合规准备必须共同推进。
一、影子人工智能的治理问题
即使正式部署不断扩大,医疗领导者仍在应对一个熟悉的企业问题:用户在批准渠道之外进行实验。“我觉得这让我想起了医疗环境中的短信,”Mabus说。“即使有人提供了安全工具,人们还是会发短信。这就是人性。”
这个类比很有启发性。正如安全消息平台从未完全消除短信变通方法,仅靠生成式AI政策也不太可能阻止临床医生在认为公共工具提升生产力时测试它们。
一些组织尝试过技术封锁,但经验表明这些措施存在局限性。用户可以通过个人设备和蜂窝连接快速绕过网络控制。相反,许多医疗系统将政策与教育和企业级替代方案结合起来。目标不是消除实验,而是安全地引导它。
未经管理的实验风险并非理论上的。“我见过大型语言模型给出完全不同的反应,”Mabus说。“而且其中一种反应如果使用,可能会对患者造成伤害。”这种差异促使医疗机构在传统合规控制之外,更加重视验证、透明度和临床培训。
更广泛地说,医疗行业正在重新学习企业IT领导者熟悉的一课:治理既是技术性的,也是行为层面。
二、威胁曲线向上弯曲
当临床团队专注于工作流程集成时,安全领导者关注的是另一条趋势线:AI驱动攻击的速度加快。“攻击的复杂性不一定是攻击的复杂性,而是速度,”MemorialCare的首席信息安全官兼IT副总裁凯文·托雷斯说。“它正以无情的方式向我们冲来。”他指出,最近针对他的医疗系统发起的密码喷洒活动显示,登录失败次数激增了十倍,这表明对手正在越来越多地自动化凭证攻击。
与此同时,人工智能驱动的临床工具的普及正在扩大第三方风险的领域。环境听觉平台、分析引擎和生成式助手常常处理高度敏感的患者互动,超出传统电子健康记录的界限。对此,MemorialCare加大了对供应商的审查力度。托雷斯说:“我们会经过详尽的第三方风险管理流程,并评估与他们共享数据是否安全。”审核内容包括NIST对齐、渗透测试历史、访问控制和泄露记录。
高管对AI风险日益关注的关注也在重塑治理。托雷斯表示,他的组织现在为董事会提供了一个企业风险管理仪表盘,明确追踪与人工智能相关的暴露,同时关注网络安全和业务连续性风险。即便有了这些控制措施,不确定性依然很高。“我们现在不知道我们不知道的事,”他说。“我觉得我们即将迎来一个核心AI厂商的重大颠覆。”
这一期待正在强化向持续监控而非一次性合规检查的更广泛转变。
三、医疗架构必须为人工智能重建
在政策和安全层之下,隐藏着一个更深层的结构性问题:许多医疗环境并未为生成式AI工作流程的速度和流动性设计。据云计算公司Citrix的医疗领域首席技术官Cletis Earle介绍,临床医生开始尝试外部工具时,最早出现的裂痕往往是因为他们开始尝试。他说:“如果你没有一个安全的环境和去标识化的信息,临床医生会认为自己做了一件很棒的事。”“但这会制造混乱的事件。”
问题不在于恶意行为,而是工作流程的摩擦。当获批工具落后于用户需求时,临床医生可能会将数据复制粘贴到消费级AI服务中以节省时间,从而无意中暴露PHI。
传统的周边控制并不适合这种模式。因此,厄尔认为,组织需要为许多人现在称为安全的人工智能创新跑道——一种既能实现实验又能控制风险的架构方法。“你需要创造沙盒,让临床医生能够进行实验,”他说。“但一定要确保数据去标识化并加以封存。”实际上,这意味着更严格的数据分割、自动化去识别化流程,以及在不涉及生产PHI的情况下测试模型的隔离环境。
另一个新兴风险是POC在成长过程中难以超越原有的限制。“概念验证是必不可少的,但如果不彻底完成,可能会在后续破坏架构框架,”厄尔说。这一警告凸显了医疗IT领导者日益增长的担忧,即早期AI试点必须设计成治理、身份控制和监控能够随着成功部署而扩展。
综合来看,这些经历正逐渐形成跨医疗系统的可识别运营模式。许多组织没有追求完全自主的人工智能,而是通过刻意分阶段的方式推进。辅助优先部署让临床医生保持控制,同时团队建立对模型性能和数据处理的信心。风险分级框架有助于将低影响的自动化与临床敏感的用例区分开来。而沙箱环境允许实验而不暴露生产环境的PHI数据。
与此同时,安全团队正在加强第三方审查并扩大行为监控,董事会则要求对AI相关企业风险有更清晰的可视化。教育也已成为核心支柱。领先机构不再仅依赖技术障碍,而是投资于临床培训和透明沟通,明确哪些地方可以安全使用,哪些地方不能安全使用。
结果不是创新放缓,而是更工程化的规模化方法,将合规和安全视为设计限制,而非事后控制。
四、设计合规:新的CIO使命
目前,辅助人工智能仍是医疗行业的主导模式。但大多数领导者预计,随着模型的改进和供应商将更先进的能力引入临床工作流程,自动化的压力将会增加。这一转变很可能会以更高的紧迫性重新打开许多当今治理问题的讨论。自主订购、代理式工作流和跨系统编排将带来新的安全和责任挑战,而现有框架仅部分解决这些问题。
尤其是安全团队,正进入一个更加动荡的阶段。正如托雷斯所言,人工智能驱动的破坏真正影响仍在前方,攻击速度的上升和威胁面的扩大可能会考验现有防御。此外,目前的“人为参与”平衡不太可能无限期维持。
如果说当今医疗人工智能采用的一个共同主题,那就是动能与谨慎并行推进。医疗系统并没有退缩于生成式人工智能。环境文档、临床摘要和智能工作流程支持已经带来了切实的益处。但最有信心行动的组织是那些早期投资于治理重构、架构控制和持续风险监控的组织。
医疗CIO们的教训正在变得清晰。挑战不再是是否部署人工智能,而是如何构建保障其安全扩展的护栏。人工智能在医疗领域的未来将属于最优秀的设计师,而非最快的采用者。
由CXOUNION-CXO联盟(cxounion.cn)编译而成,来源于:数智化转型网;编辑/翻译:CXOUNIONCXO联盟小C。
如需加入CXO UNION(CXO联盟)高管社群,请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何责任。
如需加入CXO UNION(CXO联盟)高管社群,请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。
Search
Popular Posts
-
2024数字化灯塔案例评选申报开启!
“2024数字化灯塔案例评选”于3月正式启动,诚挚欢迎业界同仁自荐和推荐,一起推动产业数字化进程,助力赋能企业…
-
2024 X-Award星盘奖申报通道已开启!
X-Award星盘奖是数字化转型服务、IT服务行业重要的商业奖项,旨在表彰行业里提供杰出数字化转型服务与IT服…
-
2024 N-Award星云奖申报通道已开启!
N-Award是数字化转型领域重要的商业奖项,旨在表彰那些以非凡的远见、超群的领导才能和卓越的成就来激励他人的…





