天极按
近日，欧盟发布《AI网络安全与标准化》报告，是标准制定组织（SDO）和处理人工智能技术监管的公共部门/政府机构。报告的目标是成为有用的工具，让更多的利益相关者知悉标准进而帮助解决网络安全问题方面的作用。
人工智能的定义和AI的网络安全
01 人工智能
了解人工智能及其范围似乎是定义人工智能网络安全的第一步。不过，事实证明，对人工智能的明确定义和范围还是难以捉摸的。人工智能的概念在不断发展，关于什么是人工智能，什么不是人工智能的争论在很大程度上仍然没有得到解决，部分原因是"人工智能"一词背后的营销影响。即使在科学层面，人工智能的确切范围仍然有很大争议。在这种情况下，许多论坛已经采用/提出了人工智能的定义。
人工智能的定义，包含在人工智能法草案中
在其草案中，《人工智能法》在第3（1）条中提出了一个定义：
人工智能系统是指使用附件一中列出的一种或多种技术和方法开发的软件，并且能够针对一组特定的人类定义的目标，产生诸如内容、预测、建议或影响其互动环境的决定等输出。附件一中提到的技术和方法是：
机器学习方法，包括有监督、无监督和强化学习，使用包括深度学习在内的各种方法；
基于逻辑和知识的方法，包括知识表示、归纳（逻辑）编程、知识库、推理和演绎引擎、（符号）推理和专家系统；
统计方法、贝叶斯估计、搜索和优化方法
与ENISA以前的工作一致，认为它是人工智能技术方面的驱动力，本报告主要关注ML。这一选择得到了进一步的支持，因为对于ML技术在当前的人工智能应用中占主导地位这一事实，似乎有一个普遍的共识。最后但并非最不重要的是，人们认为ML的特殊性导致了以一种独特的方式影响人工智能网络安全的漏洞。需要指出的是，本报告从生命周期的角度考虑人工智能。有关ML的考虑已经被标明。
机器学习的特殊性：来自监督学习模型
ML系统不可能在精确度和召回率方面都达到100%。根据不同的情况，ML需要用精度换取召回率，反之亦然。这意味着，人工智能系统偶尔会做出错误的预测。
这就更重要了，因为现在还很难了解人工智能系统何时会失败，但它最终会失败。这就是人工智能系统需要可解释性的原因之一。从本质上讲，如果算法做出的决定可以被人类（如开发人员或审计师）理解，然后向最终用户解释，那么算法就被认为是可解释的（ENISA, Securing Machine Learning Algorithms）。
ML的一个主要具体特点是，它依赖于使用大量的数据来开发ML模型。手动控制数据的质量可能变得不可能。具体的可追溯性或数据质量程序需要到位，以确保在最大程度上，正在使用的数据不包含偏见（例如，忘记包括具有特定特征的人的面孔），没有被故意毒害（例如，添加数据以修改模型的结果），以及没有被故意或无意地错误标记（例如，将狗的图片标记为狼）。
02 人工智能的网络安全
文献对人工智能和网络安全进行了广泛的讨论，既有单独的，也有组合的。ENISA报告《确保机器学习算法的安全》描述了人工智能和网络安全之间的多维关系，并确定了三个方面：
人工智能的网络安全：缺乏稳健性以及人工智能模型和算法的脆弱性；
人工智能支持网络安全： 人工智能作为一种工具/手段，用于创建先进的网络安全（例如，通过开发更有效的安全控制），并促进执法部门和其他公共当局更好地应对网络犯罪；
恶意使用人工智能：恶意/对抗性地使用人工智能来创造更复杂的攻击类型；
目前的报告侧重于这些层面中的第一个，即人工智能的网络安全问题。尽管如此，对人工智能的网络安全仍有不同的解释，可以设想： - 狭义和传统的范围，旨在保护资产（人工智能组件，以及相关的数据和流程）在人工智能系统的整个生命周期中的保密性，完整性和可用性受到攻击；
广义和扩展的范围，用数据质量、监督、稳健性、准确性、可解释性、透明度和可追溯性等可信度特征支持和补充狭义范围。
报告对网络安全采取了狭义的解释，但也包括从更广泛和延伸的角度对人工智能的网络安全的考虑。原因是网络安全和可信度之间的联系很复杂，不能忽视：可信度的要求是对人工智能网络安全的补充，有时还与人工智能网络安全的要求重叠，以确保正常运作。举例来说，监督不仅对复杂环境中的人工智能系统的一般监测是必要的，而且对检测网络攻击导致的异常行为也是必要的。同样，数据质量过程（包括数据可追溯性）是与纯粹的数据保护相联系的附加价值，以防止网络攻击。因此，稳健性、监督性、准确性、可追溯性、可解释性和透明度等可信性特征本质上支持和补充了网络安全。
支持人工智能网络安全标准化工作
01 主要标准制定者的相关活动
许多SDO正在关注人工智能，并为解决人工智能问题准备指南和标准化成果。指南和标准化成果来解决人工智能问题。这项工作的基本原理是，每当新事物（在这里是指人工智能）被开发出来时，都有一个广泛的要求，即确定现有的规定是否适用于新领域以及如何适用。这种研究可能有助于了解新事物的性质，并确定新事物是否与以前的事物有足够大的差异，以证明或要求开发和应用新技术。它们还可以为现有技术应用于新技术提供详细的指导，或定义额外的技术以填补空白。
不过，在本报告的范围内，重点主要放在可以协调的标准上。这 这就把分析的范围限制在国际标准化组织（ISO）和国际电工委员会（IEC）的标准上。和国际电工委员会（IEC）的标准，欧洲标准化委员会（CEN）和欧洲委员会的标准。标准化委员会（CEN）和欧洲电工标准化委员会（CENELEC）的标准。(CENELEC)，以及欧洲电信标准协会(ETSI)。CEN和CEN和CENELEC可以将ISO和IEC的标准分别移植到欧盟的标准中，并在 在维也纳协议和法兰克福协议的支持下，CEN和CENELEC可以分别将ISO和IEC的标准转换为欧盟标准。
1.1 CEN-CENELEC
CEN-CENELEC主要在两个联合技术委员会（JTCs）内处理人工智能和网络安全问题。
JTC 13 "网络安全和数据保护 "的主要目标是将相关的国际标准（特别是来自ISO/IEC JTC 1小组委员会（SC）27）转换为信息技术（IT）领域的欧洲标准（ENs）。它还在存在差距的地方开发 "本土 "的EN，以支持欧盟的指令和法规。
JTC 21 "人工智能 "负责制定和采用人工智能和相关数据的标准（特别是来自ISO/IEC JTC 1 SC 42），并向其他与人工智能有关的技术委员会提供指导。
JTC 13处理所谓的网络安全的狭窄范围（）。该委员会已经确定了一份来自ISO-IEC的标准清单，这些标准对人工智能网络安全感兴趣，并且可能被CEN-CELEC根据其技术合作协议采用/改编。最突出的识别标准属于关于信息安全管理系统的ISO 27000系列，它可能由用于开发、评估和/或采购具有安全功能的IT产品的ISO 15408系列，以及特定部门的指导，如ISO/IEC 27019:2017信息技术-安全技术-能源公用事业行业的信息安全控制来补充。
根据设计，JTC 21正在处理网络安全的扩展范围，其中包括可信度特征、数据质量、人工智能治理、人工智能管理系统等。鉴于此，ISO-IEC/SC 42标准的第一份清单已被确定为直接适用于《人工智能法》草案，并正在考虑由JTC 21采用/改编：
ISO/IEC 22989:2022，人工智能的概念和术语（已出版）；
ISO/IEC 23053:2022，使用机器学习（ML）的人工智能（AI）系统框架（已公布）；
ISO/IEC DIS 42001，人工智能管理系统（开发中）；
ISO/IEC 23894，人工智能风险管理指南（正在发布）；
ISO/IEC TS 4213，机器学习分类性能的评估（已出版）；
ISO/IEC FDIS 24029-2，形式化方法的使用方法（正在开发）；
ISO/IEC CD 5259系列： 用于分析和ML的数据质量（正在开发）；
此外，JTC 21已经确定了两个差距，并相应地启动了两个特设小组，旨在准备支持人工智能法案草案的新工作项目提案（NWIPs）。潜在的未来标准是：
人工智能系统风险目录和风险管理；
人工智能的可信度特征（例如，稳健性、准确性、安全性、可解释性、透明度和可追溯性）。
最后，已经确定关于人工智能管理系统的ISO-IEC 42001和关于网络安全管理系统的ISO-IEC 27001可以由关于质量管理系统的ISO 9001来补充，以便适当覆盖人工智能和数据质量管理。
1.2 ETSI
ETSI成立了专门的人工智能业务协调小组，负责协调ETSI的技术机构、委员会和行业规范小组（ISG）所处理的与人工智能有关的标准化活动。此外，ETSI还有一个专门的人工智能安全小组（SAI），该小组自2019年以来一直积极制定报告，对人工智能给系统带来的问题进行更详细的了解。此外，ETSI的大量技术机构一直在处理人工智能在不同领域的作用，如零距离网络和服务管理（ISG ZSM）和运输（TC ITS）。
ISG SAI是一个预标准化小组，确定了保护系统免受人工智能和人工智能攻击的路径。该小组在技术层面上开展工作，解决人工智能的具体特征。它已经发表了一些报告，并正在继续制定报告，以促进更广泛的理解，并为更详细的规范性标准提供一套要求，如果这些标准被证明是必要的。
以下是ISG SAI发布的小组报告（GR），适用于理解和开发对人工智能的保护措施：
ETSI GR SAI-001：AI威胁本体；
ETSI GR SAI-002：数据供应链安全；
ETSI GR SAI-004：问题声明；
ETSI GR SAI-005：缓解策略报告；
ETSI GR SAI-006：硬件在人工智能安全中的作用。
在撰写本报告时，ISG SAI的以下工作项目正在开发/待发表：
ETSI DGR SAI-007： 人工智能处理的可解释性和透明性（有待出版）；
ETSI DGR SAI-008： AI/ML系统的隐私问题（最终草案）；
ETSI DGR SAI-009： 人工智能计算平台安全框架（待出版）；
ETSI DGR SAI-010： 人工智能模型的可追溯性（正在开发：早期草案）；
ETSI DGR/SAI-0011： 多媒体身份表述的自动操作（早期草案）；
ETSI DGR/SAI-003： 人工智能的安全测试（稳定草案）；
ETSI DGR/SAI-0012： 协作性人工智能（早期草案）。
除了已经发表和正在开发的工作外，该小组还保持着一个"路线图"，确定了工作的长期规划和各利益相关者的互动方式。此外，作为《人工智能法》草案和《网络安全法》的直接后果，目前正在讨论以下潜在的未来工作计划：AI的准备和过渡，测试和认证。
ETSI ISG SAI的工作是在ETSI人工智能工作的大背景下进行的，其中包括ETSI其他机构的贡献，包括其网络安全技术委员会（TC Cyber）。在其他项目中，该委员会正在专门扩展TS 102 165-1，方法和协议；第1部分：威胁、脆弱性、风险分析（TVRA）的方法和形式。
不过，最有趣的确定项目之一是SAE AIR AS6983，该项目致力于航空领域的人工智能/ML，其范围与JTC 21关于人工智能可信度特征的项目的目标非常相似。它的出版预计在2023年。主要的软件供应商就其人工智能功能的使用准备标准和指南，在许多情况下（例如，软件由应用程序商店分发），将要求在市场上提供详细的审查和质量控制。这是在开发者的法定义务之外的。最后，美国国家标准与技术研究所（NIST）也在人工智能领域表现活跃，并在2023年1月发布了人工智能风险管理框架（AI RMF 1.0）。
覆盖面分析
本节分析了前几章中确定的与CIA安全模型和支持网络安全的可信度特征有关的最相关标准的覆盖范围。
01 支持AI网络安全标准化（狭义）
从本质上讲，狭义的人工智能网络安全被理解为涉及人工智能系统整个生命周期中的资产（人工智能组件以及相关数据和流程）的CIA。表1显示了这些安全目标中的每一个，对AI系统的相关攻击的例子。
表1：CIA范式在人工智能方面的应用
如果我们将人工智能系统视为软件，并考虑其整个生命周期，那么通用标准，即那些不是专门针对人工智能的、涉及技术和组织方面的标准，可以有助于减轻人工智能面临的许多风险。以下是被确认为特别相关的标准：
ISO/IEC 27001，信息安全管理，和ISO/IEC 27002，信息安全控制。控制：与所有安全目标相关、
ISO/IEC 9001，质量管理体系：与完整性特别相关质量管理体系：尤其与完整性和可用性有关。
这提出了两个问题：
首先，通用标准应在多大程度上适应特定威胁下的特定人工智能环境、
第二，现有的标准是否足以解决人工智能的网络安全问题，还是需要对其进行补充。
关于第一个问题，有人建议，如果提供指导，通用标准要么适用，要么可以适用。简而言之，虽然人工智能有一些特殊性，但它的本质是软件；因此，适用于软件的东西可以适用于人工智能。尽管如此，SDO仍在积极处理人工智能的特殊性，许多现有的通用标准正在被补充，以更好地处理人工智能。这意味着，在一般情况下，现有的差距涉及到人工智能术语和概念的澄清，以及现有标准在人工智能背景下的应用，尤其是以下方面：
人工智能术语和相关可信度概念的共同定义： 许多标准试图定义人工智能（例如，ISO/IEC 22989:2022，人工智能概念和术语；ISO/IEC 23053:2022，使用机器学习（ML）的人工智能（AI）系统框架；ETSI ISG GR SAI-001，AI威胁本体；NIST，AI风险管理框架。然而，为了一致地应用标准，SDO必须人工智能、可信度特征有共同的理解，因此，相关的标准在哪里和适用于什么）；
指导与软件网络安全有关的标准应如何适用于人工智能：例如，数据中毒并不只涉及人工智能，而且存在应对这种类型的威胁的良好做法，特别是与软件的质量保证有关。然而，质量保证标准指的是数据操纵：针对数据操纵的措施不会在其描述中提到它也能减轻那些特别影响人工智能系统的数据操纵形式。可能制定的指南可以解释，数据中毒是数据操纵的一种形式，因此，至少在某种程度上，可以通过与数据操纵有关的标准来解决。这种指导可以采取具体文件的形式，也可以嵌入现有标准的更新中。
于第二个问题，从SDO的活动中可以看出，人们对应用现有技术应对人工智能产生的威胁和脆弱性的认识不足。这种关切是合理的，虽然可以通过特别指导/更新来解决，但有人认为，这种方法可能并不详尽，而且有一些局限性，如下所述：
人工智能的概念可以包括不限于软件的技术和组织要素，如硬件或基础设施，这些也需要具体指导。例如，ISO/IEC/IEEE 42010第2版，架构描述词汇，考虑了整合了AI能力的相关实体的网络安全，包括例如硬件、软件、组织和流程。此外，在缩小一般系统和人工智能系统之间的差距时，应考虑到人工智能系统和应用场景的新变化。
人工智能模型的不透明性可能会阻碍软件质量保证的最佳做法的应用。
对ISO 9001和ISO/IEC 27001的遵守是在组织层面，而不是在系统层面。确定适当的安全措施有赖于对系统的具体分析。支持CIA安全目标的标准化方法的确定往往是复杂的，并且是针对应用或领域的，因为在很大程度上，要减轻的攻击取决于应用或领域。虽然有针对许多网络系统的一般攻击，以及一些可以针对许多不同系统的非常具体的攻击，但它们往往依赖于一小部分可以利用的漏洞，这些漏洞是特定于一个领域或一个应用的。在这个意义上，ETSI TS 102 165-1，方法和协议；第一部分： 威胁、脆弱性、风险分析（TVRA）的方法和形式10，以及ISO/IEC 15408-1，IT安全的评估标准，可用于执行具体的风险评估。
标准对安全的人工智能所能提供的支持受到技术发展成熟度的限制，因此应该鼓励和监督。换句话说，在某些领域，现有的标准不能被调整，或者新的标准还不能被完全定义，因为相关的技术还在开发中，还没有成熟到可以被标准化。在某些情况下，可以起草第一批标准（例如，关于深度神经网络鲁棒性的ISO/IEC TR 24029-1:2021），但随着研究和开发（R&D）的进展，可能需要定期更新和调整。例如，从ML研究的角度来看，关于对抗性例子、规避攻击、测量和认证对抗性稳健性、解决ML模型的数据中毒的特殊性等方面的许多工作仍然是相当活跃的研发。与人工智能和标准化研发相关的另一个挑战是基准：研究成果往往没有可比性，导致在什么条件下什么工作不一定清楚。
技术差距实例：持续学习
持续学习是指人工智能组件在其运行过程中通过使用运行中的数据对人工智能组件进行再训练而不断发展的能力。这一功能通常被认为是人工智能的关键能力。
数据和人工智能组件的可追溯性和追溯性都没有得到充分解决。流程的可追溯性由几个与质量有关的标准来解决。在这方面，ISO 9001是质量管理的基石。然而，数据和人工智能组件在整个生命周期中的可追溯性仍然是一个贯穿大多数威胁的问题，而且基本上没有得到解决。事实上，数据和人工智能组件都可能有非常复杂的生命周期，数据来自许多来源，并被转化和增强，而且，虽然人工智能组件可能重复使用第三方的组件，甚至是开放源代码的组件，但所有这些显然是风险增加的来源。这方面意味着需要建立与可追溯性相关的技术、工艺和程序，以确保人工智能系统的质量，例如，正在使用的数据不包含偏见（例如，忘记包括具有特定特征的人的面孔），没有被故意下毒（例如，添加数据以修改模型的结果），以及没有被有意或无意地误标（例如，将狗的照片标为狼）；
ML的固有特征在现有标准中没有得到充分体现。从设计上来说，ML不能被期望是100%的准确。虽然这对于（例如）由人类设计的基于规则的系统来说也是如此，但ML有更大的输入空间（使得穷举测试变得困难），黑箱特性和高灵敏度，意味着输入的微小变化会导致输出的巨大变化。因此，一方面要了解如何减轻失败的风险，另一方面，如果/一旦失败是由恶意行为者造成的，就更加重要了。在现有/新的标准中需要考虑的最明显的方面可以总结如下：
AI/ML组件可能与硬件或其他软件组件相关联，以减少功能故障的风险，因此改变了与所产生的设置相关的网络安全风险。
可靠的指标可以帮助潜在的用户发现故障。例如，对于依赖监督分类的人工智能系统的精度和召回指标，如果用户知道人工智能系统的精度/召回阈值，他们应该能够在测量值超出这些阈值时发现异常，这可能表明有网络安全事件。虽然这将是一个一般的检查，但准确定义可靠的指标是定义更先进的测量的前提。
在开发过程中的测试程序可以带来一定程度的准确性/精确性。
需要注意的是，人工智能系统的度量标准和测试程序的主题已经被标准化成果所涉及，如ISO/IEC DIS 5338-AI系统生命周期流程（正在开发）；ISO/IEC AWI TS 12791-分类和回归机器学习任务中不需要的偏差处理（正在开发）；ETSI TR 103 305-x，有效网络防御的关键安全控制；以及ETSI GR SAI-006，硬件在人工智能安全中的作用。然而，所需的人工智能系统可信度指标的覆盖范围并不完整，这也是CEN-CENELEC倡议"人工智能可信度特征"项目的原因之一。
02
支持人工智能网络安全的标准化：可信度
网络安全可以被理解为超越了单纯的资产保护，并被认为是正确实施人工智能可信性特征的基础，反之，正确实施可信性特征是确保网络安全的关键。表3以《人工智能法》草案为例说明了这种关系。它显示了网络安全在该法概述的一系列要求中的作用，这些要求可以被认为是指人工智能生态系统的可信度。事实上，其中一些要求（如质量管理、风险管理）间接地有助于建立一个信任的人工智能生态系统，但由于它们被认为同样重要，而且是《人工智能法》草案的要求，所以被包括在内。
表3 :网络安全在《人工智能法》草案概述的一系列要求中的作用
SDO正在积极处理这个问题，并正在开发支持可信性的人工智能具体标准。特别是，ISO/IEC SC 42正在制定多个标准中的大部分内容，CEN-CENELEC JTC 21正在努力采用/适应这些标准。这是正常的，而且在某种程度上，起初是不可避免的。然而，在监管方面，人们可以期待一个统一的全面、连贯和综合的可信度方法，同时避免工作的多重性，在某种程度上也是重复的。此外，对于相同的特征（稳健性、可解释性等）有多套标准，有些来自网络安全领域，有些来自人工智能领域，存在差异的风险，这将是低效甚至适得其反。其结果是，强烈建议对可信性特征采取统一的方法。
网络安全符合性评估
当涉及到人工智能系统时，将根据《人工智能法》草案中列出的所有要求进行符合性评估，可信度，包括其网络安全方面，是其中之一。现有的关于可信度的标准缺乏符合性评估方法，有时包括技术要求和指标。虽然在ISO/IEC SC 42中有很多关于可信性特征的活动，但也有很多差距，很少有开发的要求和指标。因此，符合性评估方法有可能被不同的标准所涉及，这取决于被评估的特性。由于一些特征相互重叠，而另一些特征可能相互矛盾（例如，在透明度和网络安全之间可能存在权衡），因此需要一个全球性的、一致的方法。
对抗性攻击
例如，确定的对抗性攻击威胁可用于ML算法以及测试和验证过程。在这种特定情况下，这些威胁可能是由人工智能系统的监测/监督过程和测试过程确定的。来自网络安全威胁评估的一些技术要求/调整很可能会在人工智能标准库中找到与监督和测试有关的位置。
《人工智能法草案》明确提到了高风险人工智能系统的网络安全问题。高风险的人工智能系统仅限于打算作为产品安全部件使用的人工智能系统，这些产品需要接受第三方的事前符合性评估，以及主要涉及基本权利的独立人工智能系统（例如用于移民、庇护和边境控制管理）和用于关键基础设施的管理和运行。更确切地说，《人工智能法》草案建立在基于风险的方法之上，根据系统的预期用途和对健康、安全和基本权利的影响来确定人工智能系统是否具有高风险。
值得注意的是，这种方法与基于网络安全风险的方法不同，后者将网络安全风险视为其不利影响和发生的可能性的函数。根据《人工智能法》草案，网络安全是一个适用的要求，因此，只有在一个系统被确定为高风险时才会被评估。
这些高风险系统要遵守一些要求，网络安全是其中之一，如第15条"准确性、稳健性和网络安全"。所概述的网络安全要求是法律性的，而且仍然是在一个较高的水平。不过，还是明确提到了一些技术方面的问题：高风险的人工智能系统应具有弹性，以防止未经授权的第三方利用系统的漏洞来改变其使用或性能。
解决人工智能具体漏洞的技术解决方案应酌情包括防止和控制试图操纵训练数据集的攻击（"数据中毒"）、旨在导致模型犯错的输入（对抗性例子）或模型缺陷的措施。人工智能法草案还在第13条"透明度和向用户提供信息"中规定，高风险人工智能系统应附有使用说明，除其他事项外，具体说明"第15条中提到的准确性、稳健性和网络安全水平，高风险人工智能系统已经过测试和验证，可以预期，以及任何可能对预期准确性、稳健性和网络安全水平有影响的已知和可预见的情况"。
此外，《人工智能法》草案在其叙述中提到了网络安全。特别是第51条提到，"为了确保与风险相适应的网络安全水平，高风险人工智能系统的提供者应采取适当的措施，并酌情考虑基础信息和通信技术基础设施"。
最后，如表2所示，人工智能法草案通过一些其他要求来解决网络安全问题。在这些以及前几节的基础上，从网络安全的角度概述了有关实施人工智能法草案的以下考虑：
鉴于人工智能在广泛领域的适用性，识别网络安全风险和确定适当的安全要求应依靠具体系统的分析，必要时依靠部门标准。部门标准应以横向标准为基础，连贯而有效。反过来，对安全要求遵守情况的评估也可以基于人工智能特定的横向标准和纵向/部门特定的标准。
重要的是制定必要的指导，以支持现有的技术和组织标准，可以支持人工智能系统的网络安全，同时监测研发进展。网络安全的某些方面现在可以通过制定具体的指导来解决，而其他方面仍在研发中。就《人工智能法》而言，所述的技术差距和正在进行的研发过程影响了第15条中概述的网络安全要求的某些方面（对抗性例子和数据中毒），因此可能构成与《人工智能法》草案有关的标准化差距，这取决于如何组织合格评估。
SDO正在积极开展可信度特征的标准化工作；然而，目前还不清楚这些标准是否会在《人工智能法》草案通过前及时被采纳。因此，建议密切关注相关发展。
人工智能法草案还描述了一个治理系统，人工智能系统的符合性评估依赖于此。除了上面概述的关于符合性评估的具体建议外，还需要注意以下几点：
确保对人工智能系统进行合格评估的行为者拥有标准化的工具和能力，包括网络安全方面的能力。在某些情况下，合格评估可以由通知机构进行。因此，人工智能的可信度将部分依赖于这些机构的能力。如果这些机构不具备适当的能力，他们可能会做出错误的评估，甚至对市场产生偏见。到目前为止，还没有充分涵盖网络安全的标准，也没有描述人工智能系统的审计、认证和测试的组织及其评估人员的能力。这一点至关重要，因为很可能一些人工智能算法会攻击人工智能系统，而其他人工智能算法会保护它们。新的人工智能威胁可能会越来越有效地利用现有的漏洞，而人工智能算法（可以，例如，监测人工智能系统的行为以保护它。总而言之，在人工智能系统的验证、测试、审计、认证'能力和'人工智能管理系统的审计和认证能力'方面存在标准化差距（尽管ISO/IEC SC 42正在准备关于最后一点的项目，但目前还不清楚它在多大程度上是足够的）；
确保人工智能法草案和网络安全立法之间的监管一致性。特别是，《人工智能法》草案第42条规定，对于已经获得认证或根据（欧盟）2019/881号条例（《网络安全法》）18 的网络安全计划发布符合性声明的高风险人工智能系统，推定其符合网络安全要求。虽然还没有发布欧盟人工智能网络安全认证计划的正式要求，但重要的是，如果制定这样的计划，将适当考虑到人工智能法草案--反之亦然。例如，《网络安全法》规定了三个级别的保证（基本、大量、高），这与信息和通信技术产品/服务/流程的预期使用相关的风险水平相称。这些级别规定了对ICT产品/服务/流程评估的严格程度和深度，并提到了技术规范、标准和程序，包括那些用于缓解或预防事故的技术。这些保证级别是否以及如何适用于《人工智能法》草案，还有待界定；
另一个可能影响《人工智能法》草案的监管发展是关于有数字元素的产品的横向网络安全要求的COM(2022)454号提案（《网络弹性法》）。该提案已于2022年9月提交。
结论
研究表明，信息安全和质量管理的通用标准（特别是ISO/IEC 27001、ISO/IEC 27002和ISO/IEC 9001）可以部分缓解与人工智能系统的保密性、完整性和可用性有关的网络安全风险。这一结论依赖于这样的假设，即人工智能在本质上是软件，因此如果提供适当的指导，适用于软件的东西也可以适用于人工智能。这种方法在一般水平上是足够的，但需要辅之以特定系统的分析，因为支持CIA安全目标的标准化方法的识别往往是特定领域的。对所产生的安全要求的合规性评估在多大程度上可以基于人工智能特定的横向标准，在多大程度上可以基于纵向/部门特定的标准，这是一个值得讨论的问题。不过，一些标准化的差距已经被确认：
流程的可追溯性由几个标准解决，但数据和人工智能组件在其整个生命周期的可追溯性仍然是一个涉及大多数威胁的问题，并且在实践中基本上没有得到解决，尽管在各种标准或草案中得到了很好的覆盖（例如，关于人工智能管理系统的ISO/IEC DIS 42001和关于分析和ML数据质量的ISO/IEC CD 5259系列21）；
现有标准中没有充分反映ML的固有特征，特别是在指标和测试程序方面；
在某些领域，现有的标准不能被调整，或者新的标准还不能被完全定义，因为相关技术仍在开发中，还没有成熟到可以被标准化。
超越单纯的CIA范式，考虑更广泛的可信度视角，主要的收获是，由于网络安全贯穿了一些可信度要求（如数据治理、透明度），围绕这些要求的标准化活动必须以一致的方式对待网络安全。关于《人工智能法》草案的实施，除了上述考虑，还发现了以下差距：
迄今为止，还没有任何标准充分涵盖网络安全和描述人工智能系统（和人工智能管理系统）的审计、认证和测试的组织及其评估人员的能力；
上述关于研发领域的差距与《人工智能法》草案的实施相关，特别是在数据中毒和对抗性例子方面。
天极按
近日，欧盟发布《AI网络安全与标准化》报告，是标准制定组织（SDO）和处理人工智能技术监管的公共部门/政府机构。报告的目标是成为有用的工具，让更多的利益相关者知悉标准进而帮助解决网络安全问题方面的作用。
Copyright © 2005-2021 网信安全世界版权所有