SHIO
SHIO JOURNAL 人工智能

原文节选 · 对照阅读

对抗机器学习：攻击及应对措施的分类与术语

SHIO JOURNALSHIO 发布 3 分钟阅读

SOURCE READING

原文与译文

原文与译文基于下列主来源；其余资料用于 SHIO 分析。

主来源

原文标题
Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
原作者／机构
Apostol Vassilev (NIST), Alina Oprea (Northeastern University), Alie Fordyce (Cisco), Hyrum Anderson (Cisco), Xander Davies (U.K. AI Security Institute), Maia Hamin (U.S. AI Safety Institute)
主来源
National Institute of Standards and Technology
来源语言
英文
原始发布日期
阅读来源原文

以下仅作主来源的短摘录对照，片段不代表原文全文。未据此主张整篇文字的转载许可。译文由SHIO于2026年10月20日制作；完整语境请读原文，SHIO分析另行标明。

使用依据：Joint government and non-government authorship; brief excerpt only

原文节选01
life cycle stages of attack
对应译文01

攻击发生的生命周期阶段。

SHIO 分析

让 AI 红队发现，成为可以修复的问题

以下为 SHIO 独立判断与方法讨论，并非来源原文或其翻译。

SHIO 阅读提示

从 NIST 的对抗机器学习分类与安全开发资料出发，把令人不安的演示，转化为有负责人、有验证条件的工程问题。

核心判断

SHIO 判断：有效发现应当说明哪条边界失效，以及团队如何知道修复是否成立。

来源事实：共同语言与开发过程

NIST AI 100-2 E2025 正式版的文档历史注明日期为 2025 年 3 月 24 日。这份报告整理对抗机器学习的术语与分类，涵盖攻击发生阶段、攻击者能力等维度。它提供描述威胁的共同语言，并不证明某一项具体防御已经有效，也不能替代针对实际系统的测试。

NIST 于 2024 年 7 月 26 日发布的安全开发配套文件，在安全软件开发框架之上补充 AI 模型相关的实践，覆盖软件开发生命周期。两份历史资料使一个组织问题更加清晰：安全工作需要在开发过程中被具体安排并持续维护，不能仅由发布前的一次展示代替。

SHIO 方法：把案例连到受保护的边界

对获得授权的内部测试，先写清楚一条受保护的边界。例如，助手可以阅读外部文件，但文件内容不能自行赋予助手新的操作权限。在隔离环境中使用无害的合成材料，记录预期行为、实际行为、系统版本与涉及的权限。测试应足够具体，使另一位工程人员能够重复，同时不依赖接触真实用户资料或外部业务系统。

发现问题后，需要指出改动对象：外部材料如何进入上下文，工具如何取得权限，或行动执行前如何核查条件。指定负责人，并写出后续验证。以上例子用于说明防御性的工作流设计，不是攻击操作说明，也不是对某个具名产品存在漏洞的指认。只有将现象连接到可以处理的责任边界，演示才开始成为工程任务。

SHIO 判断与限制：修复也要接受反证

修改后，既重跑原案例，也检查相关的正常任务。如果系统只是屏蔽了令人担忧的输出，却无法完成原本需要支持的工作，团队仍然需要继续调整。保留选择这些案例的理由，让以后版本的变化能够对照同一条边界来判断。修复的目标、可能代价与未解决的问题，都应留在记录中，而不是只保留一句“已经安全”。

一次未能越界的测试，只能说明在这些条件下发生了什么，不能证明所有路径都被阻止。SHIO 因此把红队发现视为持续决策的输入：缩小暴露范围、改进控制，或者在前提缺乏证据时暂缓使用。让思想生成可验证行动，也包括让修复假设能够被后续测试推翻，使系统能力与组织的承担能力一同成长。

留给实践的问题

每项发现，都用一位负责人、一个修复假设，以及能够反驳它的测试收尾。

REFERENCES & EDITORIAL NOTE

资料来源

主来源的原题、作者与使用依据保留在原文区。节选、SHIO 译文和独立分析明确分列；下列链接用于核对主来源、辅助资料及其上下文。

  1. National Institute of Standards and Technology · 主来源

    Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations

    原始来源日期：查阅日期：

    The official author list and reportPDF show NIST plus university, company and U.K. institution contributors. The NIST employee-work policy is not treated as a blanket clearance for all joint contributions. Only a five-word phrase from the abstract is reproduced. No complete report, paragraph, figure, table, exploit procedure or third-party material is copied. Policy/source: https://www.nist.gov/open/copyright-fair-use-and-licensing-statements-srd-data-software-and-technical-series-publications

  2. National Institute of Standards and Technology

    Secure Software Development Practices for Generative AI and Dual-Use Foundation Models: An SSDF Community Profile

    原始来源日期：查阅日期：

    NIST employee works: U.S. public domain; third-party exceptions. Original editorial analysis; no full translation. Policy: https://www.nist.gov/open/license

返回文集专著