谈谈网络安全领域对人工智能的滥用（上）

翻译：360代码卫士团队

顶级大学如美国斯坦福大学和耶鲁大学以及英国牛津大学和剑桥大学的科学家们连同民间组织以及网络安全行业的企业上个月发布了一篇重要论文，题目是《滥用人工智能：预测、阻止以及缓解》。

虽然这篇论文探索了大量潜在的人工智能滥用情况（其中包含且集中于机器学习），但这里基本上排除了军事领域而主要关注于网络安全领域。然而，鉴于政治监控和法规隐私问题之间的联系，不可能完全排除潜在的政治滥用情况。

人工智能是指使用计算机执行通常仅可由人类完成的分析功能，不过是以机器的速度完成。在Corvil 公司工作的 David Murray 指出，“机器速度”是指“以20毫秒或更快的速度在多个软件程序中执行数百万个指令和计算。”人工智能就是让不可实现的东西变得真实。

论文中讨论的问题是，这个功能并不存在道德偏见。人工智能可轻易将其用于恶意目的，就像用于良好目的那样。人工智能基本上是两用的；而最基本的威胁是，0day 恶意软件会更加频繁地出现而且会遭更加精准的打击，而现有的防御措施是中性的，原因在于人工智能系统掌握在恶意人员手中。

如今，机器学习类型的人工智能最常见于下一代端点保护系统中即最新的反恶意软件中。之所以称为“机器学习”类型，是因为系统中的人工智能算法从数百万（以及还在增加的）真实恶意软件的样本和行为模式中“学习”。

人工智能通过比对检测到的新模式和已知的恶意模式，以在人类分析师在任何有意义的时间范围内均不可能实现的速度和精度生成潜在恶意的概率级别。但实现它需要具备两个附加条件：它取决于“学习”算法的质量以及它所学习的数据集的完整性。

出现滥用的情况可能存在于两个领域：操纵或甚至是更改算法；以及投毒机器学习的数据集。

报告警告称，“多次发现机器学习算法也存在漏洞问题，其中包括特定的机器学习的漏洞，如通过对抗性示例或投毒训练数据引发错误分类。机器学习算法仍然易受传统漏洞的威胁（如内存溢出）。当前，网络安全研究人员对理解机器学习系统的安全性很感兴趣，尽管目前的问题的数量似乎要比答案多。”

危险在于，虽然机器学习存在威胁，但网络犯罪分子和国家黑客将开始使用自己的机器学习能力来增强对抗机器学习防御攻击的速度和准确性。

在数据集投毒方面，F-Secure 公司的安全顾问 Andy Patel 警告称，“难以诊断模型遭不正确训练且显示出偏见或执行不正确的分类。”问题在于，即使是开发出人工智能算法的科学家们也不一定理解它们实际是如何运作的。

他还指出，恶意人员并不会等待自己的机器学习来做这一点。“自动化内容生成可用于投毒数据集。虽然这种情况已经发生，但用于生成内容的技术并不一定使用机器学习。例如，2017年，和网络中立相关的数百万条评论被提交至美国联邦通信委员会。”

攻击者和防御者之间的基本矛盾将不会随着机器学习的改变而改变，各方都在想着超越对方，而且各方都会获得短暂性胜利。McAfee 公司的首席技术官 Steve Grobman 指出，“我们需要认识到，利用新型技术如人工智能的新型防御措施在最开始发布也就是在恶意人员构建好旨在规避应对措施和躲避技术之前是最有效的。”

简言之，网络安全行业意识到了对人工智能滥用的情况，而且已经开始在考虑最佳对策。“安全企业之间以及它们和这些恶意人员三方都在竞争，比试创新并保持优势，目前来看安全企业更胜一筹。”Webroot 公司的首席技术官 Hal Lonas 指出，“正如使用抗生素时，生物感染会演变成更具对抗性的耐药菌株一样，随着时间的推移，对人工智能防御措施技术使用得越来越多，恶意软件攻击也会发生改变。”

Hyrum Anderson 是报告的作者之一，也是 Endgame 公司数据科学的技术总监，他认同业内认为机器学习可遭滥用或规避的观点，但关于遭利用的方法有不同看法。他指出，“很可能信息安全圈子的数据科学家们很少会思考产品如何可遭滥用。例如，利用一种幻觉模型通过误报让安全分析师透不过起来，或者是执行类似攻击导致系统遭受基于人工智能的防御措施发动的拒绝服务攻击。”

确实，这份报告并未提供某种攻击方法（尽管会提供其它方法）。“这份报告并没有解决基于去匿名化攻击的机器学习的危险含义。”Sophos 公司的首席数据科学家 Joshua Saxe 指出。数据去匿名化是很多法规的关键要求。基于人工智能的去匿名化可能是微不足道和快速的。

Anderson 说明了 Endgame 用于保护自身机器学习算法的完整性和安全使用的三条准则。第一条准则是了解或适当限制人工智能与系统或端点的交互。第二条准则是了解并限制数据获取，例如，获取所有事件的异常检测与仅获取“和安全相关的”事件子集的异常检测。为了保护数据集的完整性，他建议“虽然信任但也要验证数据提供商，如用于训练下一代反病毒的恶意软件源。”

第三条准则是“建立模型后、部署之前和之后要主动探究盲点。实现这个目标的方法有很多，但至少手动做这件事仍然是个不错的想法。”

原文链接

https://www.securityweek.com/malicious-use-artificial-intelligence-cybersecurity

本文由360代码卫士编译，不代表360观点，转载请注明 “转自360代码卫士www.codesafe.cn”。