每位 CEO 都需要了解的 AI 治理知识
如今,人工智能治理已上升为一种法定的信托义务。本文将详细解读“数据保管链”在实践中的具体含义,并提供一份包含七项内容的行动清单,供您在接下来的董事会会议上使用。
只要询问任何 CEO 或董事会成员如何管控 AI 风险,几乎总会得到类似的回答:法律部门负责合规审查,IT 部门负责系统管理,CISO 则负责安全保障。但由于对那些以 AI 为核心业务的企业领导者而言,AI 治理是一项需要跨领域协作的重点任务,因此它要求采用全新的领导方式与责任划分机制。
传统的网络安全治理体系旨在保护数据:防止未经授权的访问、封锁系统边界、保持记录的完整性。在系统仅用于存储和处理信息的阶段,这种模式还能发挥作用。但当系统开始从信息中生成智能分析结果时,它就不再适用了——而人工智能恰恰就是如此运作的。
当机器学习模型在数据集上训练时,它并不会存储这些数据,而是将其中的统计规律融入到数以百万计的参数之中。原始数据虽然不再可见,但其影响依然存在。如果训练数据被污染、存在偏差、是以非法方式获取的,或者在任何环节都受到了不当处理,那么这些问题就会渗透到模型的输出结果以及模型代为做出的决策中。
医疗诊断、学分审批、欺诈检测以及财务信息披露——这些并非假设性的应用场景,而是人工智能已经实际投入使用的真实情况,只不过往往缺乏相应的治理机制来证明其输出结果是如何产生的。
人工智能系统日益被用作决策支持或决策自动化工具。当人工智能系统的输出影响到这些关键应用场景时,董事会绝不能将这些输出视为不可理解的技术产物,因为它们实际上已转化为机构知识资产。一旦这些资产遭到破坏,董事会的审慎义务与忠实义务就可能受到直接影响。来自美国联邦贸易委员会、美国证券交易委员会以及欧盟《人工智能法案》的监管压力正在不断加大。能够证明人工智能数据的来源以及模型构建方式,已迅速从一种最佳实践转变为法律上的强制要求。
归根结底,那些将人工智能治理视为单纯合规任务的公司董事会与 CEO 们,根本无法应对即将到来的挑战。而那些现在就在人工智能基础设施中建立数据监管机制的企业,即便在竞争对手还未能做到时,也能拥有一个具备防御能力且值得信赖的人工智能系统。
“人工智能带来的风险已不再仅仅与模型精度有关,关键在于企业能否证明数据及决策的完整性及其来源追溯性。若没有可验证的数据管理流程,人工智能非但无法成为竞争优势,反而会成为引发监管与法律风险的根源。”——乔治·德切萨雷
| 简而言之:本文向 CEO 及董事会成员阐明了为何人工智能治理如今已属于一种信托义务、“数据保管链”在实践中具体意味着什么,同时还提供了一份包含七项内容的行动清单,供他们带到下一次董事会会议上使用。 |
CEO 们需要了解的关于 AI 治理的关键要点
- 如今,AI 治理已上升为董事会层面的信托责任。当 AI 系统影响临床、金融或运营决策时,董事会必须对这些决策结果的准确性负责,而不仅仅是确保生成这些结果的系统安全无虞。
- 风险状况已发生根本性变化。传统的网络安全措施旨在防范未经授权的访问,而人工智能治理则必须防止各种不当干预——包括数据污染、模型操纵、统计数据失真以及训练流程被破坏等风险。
- 监管机构已经开始采取行动。美国联邦贸易委员会、证券交易委员会以及卫生与公众服务部都提出了同一项要求:各组织必须证明其人工智能数据的来源、处理方式,以及数据并未被以可能带来风险或造成损害的方式被篡改。《欧盟人工智能法案》则将这一要求正式纳入法律之中。
- “监管链”正是实现这一目标的机制。在法庭上用于验证物证的标准——包括记录完整的来源信息、篡改痕迹检测、完整性核查、访问日志以及数据保存情况——如今也必须应用于人工智能训练数据与模型开发过程中。
- 大多数企业都无法回答这个基本问题:您能否证明自己的 AI 数据是合法获取的、得到了妥善处理,且未被篡改以致改变模型的行为?对大多数公司而言,诚实的答案是否定的。
- 如今,那些率先构建此类基础设施的企业将获得显著优势。值得信赖的 AI 正逐渐成为一项采购要求、监管标准,以及区分企业竞争力的关键因素。在法律开始实施强制措施之前,主动采取行动的窗口期正在逐渐关闭。
- 责任不可被转嫁。法律与信息技术部门可以实施相关控制措施,但只有董事会和高层管理团队才能制定治理标准,并要求整个组织对此负责。
为何传统模式行不通
在网络安全领域,威胁模型十分明确:攻击者企图窃取数据、篡改数据或阻止他人访问数据。相应的防御措施也早已被人们所熟知,包括访问控制、加密、日志记录以及事件响应等。只要拥有出色的首席信息安全官以及完善的安保体系,通常就能应对大部分风险。
在人工智能系统中,威胁的性质有所不同。风险并不在于有人窃取了你的数据,而在于被篡改或非法获取的数据会悄悄影响模型的行为,而你却无法察觉这一过程。问题并不出在系统边界,而是在训练流程之中。等到模型被部署并开始做出决策时,那些受污染的数据已经影响到数以百万计的参数,如果不重新进行训练,就根本无法消除其影响。

这一点至关重要,因为用于保护人工智能系统的治理控制措施并非单纯的安全控制手段,而是数据来源控制措施。关键问题不在于“谁访问了这些数据?”,而在于“数据来自何处、由谁处理过、经过了怎样的变换,以及我们能否证明其中没有任何环节出现过安全漏洞?”这类问题本质上属于董事会和管理层的职责范畴,而非 CISO 的职责。
人工智能需要不同的数据治理模式。
传统的网络安全防护主要依据机密性、完整性和可用性这一三大原则来对信息进行分类。这些原则依然重要,但已不足以用于管理人工智能系统。
人工智能带来了一个截然不同的问题:
问题不应仅仅是“这些数据能否得到保护?”,而应是“是否应当利用这些数据来影响智能系统?”
这要求企业从三个额外的维度对数据进行分类,也就是我们所说的 SCC 三要素:
- 敏感度:滥用这些数据会对个人、客户、知识产权或企业造成多大的损害?敏感数据除了涉及传统的保密问题外,还会带来隐私、伦理以及声誉方面的影响。
- 重要性:这些数据会对关键的人工智能决策产生多大的影响?用于医疗诊断、欺诈检测、财务报告或安全系统领域的训练数据,其治理要求显然要高于那些用于低风险生产力应用的数据。
- 合规性:在数据的收集、存储、处理及使用过程中,有哪些法律、合同、监管或许可方面的要求需要遵守?各组织不仅需要了解数据的来源,还要明确这些数据是否可以合法地被用于模型训练、微调、检索系统或自主智能体的构建。
综合来看,这些要素构成了一套治理框架,它是对传统 CIA 模型的补充而非替代。保密性、完整性与可用性依然是至关重要的安全目标,但人工智能治理要求企业必须明确哪些数据被用于支撑机器的决策过程。
因此,董事会应当要求管理层在将人工智能数据纳入任何训练流程、检索架构或实际应用的人工智能系统之前,先根据其敏感度、重要性以及合规要求对这类数据进行分类。
“数据保管链”对人工智能而言究竟意味着什么
“保管链”这一概念源自法律与法医实践。在法庭上呈交的证据必须通过完整的书面记录来证明其真实性——从收集到提交的全过程,包括每一次转移、每一名处理人员以及存储条件等。若没有这样的记录,该证据便不可被采纳。
该框架对人工智能系统也适用同样的标准。而且时机至关重要:与物证不同,人工智能数据的保管链必须在训练开始之前就建立起来。一旦模型吸收了训练数据,要追溯其来源就会变得极其困难。你无法通过审计的方式反向追踪已训练完成的神经网络。
AI 数据溯源的六项基本原则
这六项原则共同构成了人工智能治理所需的证据级基础,其标准与诉讼律师在处理其他各类机构证据时所采用的标准如出一辙。
- 可追溯的来源:每个数据集都必须有完整的来源记录——包括来源机构、获取日期、收集方法、许可权限以及监管分类。对于“这些数据来自何处?”这一问题,必须能给出可验证的答案。
- 建立完整的记录:必须对数据生命周期的每一个阶段进行登记——谁访问了数据、何时访问、对数据进行了何种操作、受影响的版本是哪个。这相当于在证据处理中所需的保管人日志,也是人工智能领域实现类似管理的手段。
- 篡改痕迹:必须运用加密技术(如数据集哈希、数字签名、不可变存储等),以确保能够检测到任何未经授权的修改。一旦数据集遭到任何形式的改动,相关记录就必须能够体现出来。
- 完整性验证:除了检测数据是否被篡改外,企业还必须主动确认数据仍与其初始状态保持一致。这包括定期进行哈希值验证、对训练流程进行可重复性测试,以及版本对比。
- 访问控制日志:与训练数据及模型输出结果的每一次交互都必须关联到具体的身份——无论是人类还是机器——并记录下时间戳与操作详情。这样一来就能形成责任追溯机制,从而使治理过程具备可审计性。
- 保留:必须保存数据集、模型配置、训练日志以及评估结果的历史记录。如果模型日后产生了意外结果,组织就必须能够准确还原用于构建它的所有数据。
人工智能治理相关的七步董事会行动清单
下文阐述的是一种治理问责框架,以及董事会和高管团队应当能够针对任何会影响机构决策的 AI 系统回答的最低标准问题集。
1. 指定一名负责任的 AI 主管
组织中必须有人负责人工智能治理工作,而非让“首席技术官”在现有职责之外兼任此职。这个人应当是具备明确职权、能够制定数据来源标准、管理模型生命周期,并直接向董事会汇报人工智能相关风险的负责任领导者。
2. 要求对现有的人工智能系统进行数据来源审计。
对于所有当前正在影响决策的 AI 系统,董事会都应要求管理层回答以下问题:训练数据来自何处?是否通过合法途径获取?其完整性是否经过验证?能否追溯数据的处理流程?如果这些问题的答案都是“我们不知道”,那就属于风险披露问题,而不仅仅是技术缺陷而已。
3. 验证人工智能的合理使用政策
所有部署人工智能的机构都应制定明确的政策,规定可用于训练模型的数据种类、谁有权限启动训练流程、允许使用哪些外部数据源,以及如何将模型输出用于决策制定。如果这些政策尚未经过董事会审议,那就不能视为有效的治理措施。
4. 确认网络安全措施已针对人工智能进行相应调整
专为传统 IT 系统设计的安全方案无法应对人工智能时代带来的风险。董事会应当要求首席信息安全官证明其管控措施能够有效防范数据污染、未经授权的模型训练、模型操纵、智能代理的身份问题、模型与智能代理的行为异常以及恶意输入等风险,而不仅仅是针对边界威胁。
每位 CEO 在推进人工智能转型期间应向 CISO 询问的 10 个问题:
|
5. 要求对数据进行独立审计并确保其可追溯性
针对人工智能系统的第三方审计应当作为一项常规管控措施列入治理计划中,而非一次性工作。审计人员应能够追踪数据从源头到模型输出的全过程,确认治理政策确实得到了执行,而不仅仅是停留在文档层面。
6. 制定并批准正式的 AI 伦理框架
人工智能治理中的伦理层面问题——如偏见、公平性、歧视以及对员工队伍的影响——现已成为必须履行的治理义务,而不仅仅是理念上的表述。董事会应当批准相应的框架,以此制定出实现这些目标的标准。
7. 在供应商合同中构建数据保管链相关要求
大多数企业都依赖外部数据源、第三方模型或供应商提供的人工智能服务。凡是涉及人工智能输入或输出的供应商关系,都应通过合同明确要求对数据来源进行记录、实施完整性控制,并披露数据集的任何变动情况。
如今,必须证明这种信托关系。
目前,人工智能治理的标准尚未完全确立,监管机构仍在制定相关规则,法院也在逐步形成判例。但这种模糊状态绝不能成为推卸责任的借口。相反,现在正是主动做好准备的时机,以免等到强制措施出台后才被迫遵循既定标准。
我们正步入一个全新的时代,在这个时代中,信任不再是可以推断出来的,而必须通过证据来证明。在人工智能系统中,这种证明正是通过一条完整无缺的数据监管链来实现的——该链条能够确保数据、模型以及决策都具有可验证的完整性。
对董事会而言,这意味着一项新的治理责任——并非单纯的技术层面要求,而是属于信托责任范畴。原本用于财务控制、合规管理以及企业风险管理的那些规范,现在也必须应用到企业基于数据生成的智能信息的完整性保障上。
那些采取此类措施的企业并非只是在走形式地完成合规要求,而是在建立信任,并主动防范可能威胁到其组织生存的各类风险。在人工智能系统正大规模影响各种关键决策的市场环境中,这无疑是一种显著的竞争优势。
|
随着企业推进人工智能转型,开发团队也在逐步转向代理工程模式。欢迎阅读我们为您准备的深度研究报告——《人工智能时代的行动指南:代理工程的崛起》。 |