什么是系统风险？
系统风险（Systemic Risk）是指由于系统内部组件高度相互依赖和关联性，一个局部失败或冲击可能通过连锁反应导致整个系统或更大范围崩溃的风险。在人工智能产品开发中，这一概念特指AI模型或组件的故障、偏见、安全漏洞或不稳定性可能引发广泛 […]
标签： AI安全
什么是后门攻击（Backdoor Attack）？
后门攻击（Backdoor Attack）是指在机器学习模型训练过程中，恶意植入一个隐藏的触发器（trigger），使得模型在正常输入下表现正常，但当输入包含特定触发信号（如特定图案或数据特征）时，模型会输出预设的错误结果或恶意行为。这种攻 […]
什么是防御性蒸馏（Defensive Distillation）？
防御性蒸馏（Defensive Distillation）是一种针对深度学习模型的对抗防御技术，旨在增强模型对对抗样本的鲁棒性。其核心原理是通过知识蒸馏（Knowledge Distillation）过程实现：首先训练一个大型教师模型在原始 […]
什么是多方安全计算（Multi-Party Computation, MPC）？
多方安全计算（Multi-Party Computation, MPC）是一种密码学协议，允许多个参与方在不泄露各自私有输入数据的前提下，共同计算一个函数的结果。每个参与方仅提供输入信息，计算过程通过加密机制确保输入隐私，最终仅输出计算结果 […]
什么是同态加密（Homomorphic Encryption）？
同态加密（Homomorphic Encryption）是一种先进的加密技术，它允许直接在加密数据上执行计算操作（如加法或乘法），而无需解密数据本身。计算结果在解密后与在原始明文数据上执行相同操作的结果完全一致，从而在数据处理过程中有效保护 […]
什么是模型反演攻击（Model Inversion Attack）？
模型反演攻击（Model Inversion Attack）是一种隐私攻击技术，攻击者通过查询机器学习模型的输出（如预测结果或置信度分数），尝试重建模型的训练数据或推断出敏感输入特征。这种攻击仅需黑盒访问模型，无需了解内部参数，即可从模型的 […]
什么是模型窃取攻击（Model Extraction Attack）？
模型窃取攻击（Model Extraction Attack）是指攻击者通过向目标机器学习模型发送精心设计的查询输入，并根据模型的预测输出推断其内部参数或架构，从而复制或重建一个功能相似的模型的过程。这种攻击旨在窃取模型的商业机密和知识产权 […]
什么是数据投毒攻击（Data Poisoning Attack）？
数据投毒攻击（Data Poisoning Attack）是一种针对机器学习模型的对抗性攻击手段，攻击者通过向训练数据集中注入精心设计的恶意样本，以操纵模型的训练过程，导致其在部署阶段产生偏差或错误行为。这种攻击通常在数据收集或模型训练阶段 […]
什么是AI安全（AI Safety）？
AI安全（AI Safety）是人工智能领域的一个关键分支，专注于研究和实践如何确保AI系统在运行中行为安全、可靠、可控，避免产生意外错误、偏见、失控或有害后果。其核心目标包括使系统与人类意图对齐（alignment）、在复杂环境中保持鲁棒 […]
什么是对抗性攻击？
对抗性攻击（Adversarial Attacks）是指在人工智能领域中，恶意设计的输入样本，旨在欺骗机器学习模型产生错误预测的行为。这类攻击通常通过对正常数据施加细微、人类难以察觉的扰动来实现，例如在图像中添加微小噪声，使模型将原本正确分 […]