摘要:这篇文章将详细介绍NDSS2020的《UNICORN: Runtime Provenance-Based Detector for Advanced Persistent Threats》,一种基于溯源图的实时APT检测器。
本文分享自华为云社区《[论文阅读] (08) NDSS2020 UNICORN: Runtime Provenance-Based Detector》,作者: eastmount。
由于APT(Advanced Persistent Threats)攻击具有缓慢可持续的攻击模式以及频繁使用0-day漏洞的高级特性使其很难被检测到。本文利用数据来源分析(provenance)提出了一种基于异常的APT检测方法,称为UNICORN。
最后通过大量实验评估表明,本文提出的方法优于现有最先进的APT检测系统,并且在真实APT环境中有较高的检测精度。
PS:蓝色-研究背景;绿色-英文表达学习;黄色-文章骨干;紫色-文章贡献
本文提出的UNICORN是一种基于异常的APT检测器,可以有效利用数据Provenance进行分析。通过广泛且快速的图分析,使用graph sketching技术,UNICORN可以在长期运行的系统中分析Provenance Graph,从而识别未知慢速攻击。其中,Provenance graph提供了丰富的上下文和历史信息,实验证明了其先进性和较高准确率。
Introduction是论文的开头,是极为重要的部分,介绍了为什么要做这份工作,建议大家仔细阅读,尤其是写英文论文的读者。因此,作者将该部分进行了详细总结。
APT攻击现在变得越来越普遍。这种攻击的时间跨度长,且与传统攻击行为有着本质的区别。APT攻击者的目的是获取特定系统的访问控制,并且能够长期潜伏而不被发现。攻击者通常使用0-day漏洞来获取受害者系统的访问控制。
综上,当前针对APT攻击的检测方法很少能成功。攻击者一旦使用0-Day漏洞,防御者便无计可施;而基于系统调用和系统事件的检测方法,由于数据过于密集,这些方法难以对长时间的行为模式进行建模。因此,数据溯源(data provenance)是一种检测APT更合适的数据。
最近的研究成果表明数据溯源是一个很好的APT检测数据源。数据溯源将系统执行表示成一个有向无环图(DAG),该图描述了系统主体(如进程)和对象(文件或sockets)之间的信息流。即使跨了很时间,在图中也把因果相关的事件关联到一起。因此,即使遭受APT攻击的系统与正常系统比较类似,但是溯源图中丰富的上下文语义信息中也可以很好地区分正常行为与恶意行为。
[87] S. M. Milajerdi, R. Gjomemo, B. Eshete, R. Sekar, and V. Venkatakrishnan, “Holmes: Real-time apt detection through correlation of suspicious information flows,” in Symposium on Security and Privacy. IEEE, 2019.
优点:实现了一种新型检测高级可持续性威胁(APT)的方法。
缺点:该方法根据已有的攻击知识通过简单的边匹配规则实现APT检测,很难检测未知的APT攻击。
然而,基于数据溯源的实时APT检测依然具有挑战。
随着APT攻击的渗透的进行,数据溯源图的规模会不断增大。其中必要的上下文分析需要处理大量图中的元素,而图上的分析通常复杂度比较高。当前基于数据溯源的APT检测方法根据已有的攻击知识通过简单的边匹配实现APT检测,无法处理未知的APT攻击。基于溯源的异常检测系统主要是基于图模型的邻域搜索,利用动态或静态模型识别正常行为模式。理论上关联的上下文越丰富越好,但是实际中由于图分析的复杂性较高限制了其可行性。
基于此,本文提出了UNICORN,使用graph sketching来建立一个增量更新、固定大小的纵向图数据结构。这种纵向性质允许进行广泛的图探索,使得UNICORN可以追踪隐蔽的入侵行为。而固定大小和增量更新可以避免在内存中来表示provenance graph,因此UNICORN具有可扩展性,且计算和存储开销较低。UNICORN在训练过程中直接对系统的行为进行建模,但此后不会更新模型,从而防止模型的投毒攻击。
系统调用抽象提供了一个简单的接口,用户级应用程序可以通过这个接口请求操作系统的服务。作为调用系统服务的机制,系统调用接口通常也是攻击者入侵的入口点。因此,系统调用跟踪一直被认为是入侵检测的实际信息源。然而:
全系统溯源运行在操作系统层面,捕获的是所有系统行为和它们之间的交互。通过捕获信息流和因果关系,即使攻击者通过操作内核对象来隐藏自己的行踪也无济于事。
本文使用CamFlow,采用了Linux安全模块(Linux Security Modules,LSM)框架来确保高效可靠的信息流记录。LSM可以消除race condition。
CamFlow:溯源搜集系统,参考官网 https://camflow.org/。
现有基于数据溯源的APT攻击检测方法主要存在如下缺陷:
UNICORN可以解决如上问题,其本质是把APT检测问题看成大规模、带有属性的实时溯源图异常检测问题。在任何时间,从系统启动到其当前状态捕获的溯源图都将与已知正常行为的溯源图进行比较。如果有明显差别,那么就认为该系统正在遭受攻击。
对于APT检测来说,理想基于溯源的IDS应该如下:
假设主机入侵检测有适当的场景:攻击者非法获得对系统的访问权限,并计划在不被检测的情况下驻留在系统中很长一段时间。攻击者可能分阶段执行攻击,在每个阶段还会使用大量的攻击技术。UNICORN的目标是通过解决主机生成的溯源来实现在所有阶段对APT攻击进行检测。本文假设,我们假设在受到攻击之前,UNICORN在正常运行期间会完全观察主机系统,并且在此初始建模期间不会发生攻击。
数据收集框架的完整性是UNICORN正确性的核心,因此我们假定所使用的CamFlow中,LSM完整性是可信的。同时,本文假设内核、溯源数据和分析引擎的正确性,我们重点关注UNICORN的分析能力。
独角兽是一个基于主机的入侵检测系统,能够同时检测在网络主机集合上的入侵。
图1展示了UNIOCORN的基本流程。
最近几年溯源图在攻击分析中越来越流行,并且本身固有的特别可以有效的用于APT检测。溯源图挖掘事件之间的因果关系,因果关系有助于对时间跨度较远的事件进行推理分析,因此有助于在检测APT相关攻击。
UNICORN根据两个系统执行的溯源图的相似性还判定两个系统的行为相似性。而且UNICORN总是考虑整个溯源来检测长期持续的攻击行为。当前已经有许多图相似度计算方法,然而这些算法大部分是NPC的,即使多项式时间复杂度的算法也无法满足整个溯源图快速增涨的需求。
本文方法的目标是有效对溯源图进行比较分析,同时容忍正常执行中的微小变化。 对于算法,我们有两个标准:
本文基于一维WL同构检验,采用了线性时间的、快速的Weisfeiler-Lehman(WL)子树图核算法。该算法的使用依赖于构造的顶点直方图的能力,需要直方图能捕捉每个顶点周围的结构信息。根据扩充的顶点标签对顶点进行分类,这些标签完全描述了顶点的领域,并且通过迭代的标签传播来构造这些扩展的顶点标签。
同构性的WL检验及其子树kernel变化,以其对多种图的判别能力而闻名,超越了许多最新的图学习算法(例如,图神经网络)。对Weisfeiler-Lehman(WL)子树图核的使用取决于我们构建顶点直方图的能力,捕获围绕每个顶点的图结构。 我们根据增强顶点标签对顶点进行分类,标签描述了顶点的R-hop邻居。
为了简单说明,假设有一个完整静态图,重标记对所有的输入标签的聚合。对每个顶点都重复执行这个过程来实现对n跳邻居的描述。一旦为图中的每个顶点都构建了扩展标签,那么就可以基于此生成一个直方图,其中每个bucket表示一个标签。两个图的相似性比较是基于以下假设:两个图如果相似那么在相似的标签上会有相似的分布。
我们的目标是构建一个直方图,图中的每个元素对应一个唯一的顶点标签,用于捕获顶点的R-hop的in-coming邻居。
信息流的多样性与复杂性(Streaming Variant and Complexity)。算法1只有新顶点出现或是新边出现对其邻顶点有影响时才会执行。本文方法只需要为每条新边更新其目标顶点的邻域。UNICORN采用这种偏序关系来最小化计算代价。
直方图元素的概念漂移问题。APT攻击场景需要模型必须能够处理长期运行行为分析能力,而系统行为的动态变化会导致溯源图的统计信息也随之变化,这种现象就叫概念漂移(concept drift)。
UNICORN通过对直方图元素计数使用指数权重衰减来逐渐消除过时的数据(逐渐忘记机制),从而解决了系统行为中的此类变化。它分配的权重与数据的年龄成反比。
入侵检测场景中的适用性。上述“逐渐忘记”的方法,使得UNICORN可以着眼于当前的系统执行动态,而且那些与当先的object/activity有关系的事件不会被忘记。
Graph直方图是描述系统执行的简单向量空间图统计量。 然而,与传统的基于直方图的相似性分析不同,UNICORN会随着新边的到来不断更新直方图。另外,UNCORN会根据图特征的分布来计算相似性,而不是利用绝对统计值。
本文采用locality sensitive hashing,也称作similarity-preserving data sketching。UNICORN的部署采用了前人的研究成果HistoSketch,该方法是一种基于一致加权采样的方法,且时间得性是常数。
在给定graph sketch和相似性度量的情况下,聚类是检测离群点常用的数据挖掘手段。然而传统的聚类方法无法捕获系统不断发展的行为。UNICORN利用其流处理的能力,创建了进化模型,可以捕获系统正常行为的变化。更重要的是,模型的建立是在训练阶段完成的,而不是在部署阶段,因为部署阶段训练模型可能会遭受中毒攻击。
UNICORN在训练期间创建一个时序sketches,然后使用著名的K-medods算法从单个服务器对该概要序列进行聚类,使用轮廓系数(silhouette coefficient)确定最佳K值值。每个簇表示系统执行的元状态(meta-states),如启动、初始化、稳定状态。然后UNICORN使用所有簇中sketches的时间顺序和每个簇的统计量(如直径、medoid),来生成系统进化的模型。
对于每个训练实例,UNICORN创建一个模型,该模型捕获系统运行时执行状态的更新。直观地说,这类似于跟踪系统执行状态的自动机。最终的模型由训练数据中所有种源图的多个子模型组成。
在部署期间,异常检测遵循前面章节中描述的相同流模式。UNICORN周期性地创建graph sketch,因为直方图从流式溯源图演变而来。给定一个概要图,UNICORN将该概要与建模期间学习的所有子模型进行比较,将其拟合到每个子模型中的一个聚类中。
UNICORN假设监视从系统启动开始,并跟踪每个子模型中的系统状态转换。要在任何子模型中为有效,概要必须适合当前状态或下一个状态;否则,被视为异常。因此,我们检测到两种形式的异常行为:
本文实现使用图形处理框架GraphChi,在C++中实现了UNICORN的图形处理算法,在Python中实现了数据解析和建模组件。
GraphChi是一个基于磁盘的系统,它可以在一台计算机上高效地计算具有数十亿条边的大型图。使用GraphChi,UNICORN可以在不需要将整个溯源图存储在内存中的情况下获得高效的分析性能。UNICORN依赖于GraphChi的两个重要特性:
我们分析了大约1.5TB的系统监控数据,其中包含来自各种跟踪系统的操作系统级溯源记录,证明了我们的方法的适用性。我们的评估评估旨在验证以下问题:
数据集采用DARPA TC3的三个APT攻击数据集:
StreamSpot是一个基于聚类的异常检测系统,它处理流式异构图。其流点数据集如下,包含来自六种场景的信息流图,其中5个是良性的,每个场景运行100次,为每个场景生成100个图。
使用Linux SystemTap记录系统,良性场景记录来自正常浏览活动的系统呼叫,如观看YouTube视频和检查Gmail,而攻击场景涉及从恶意URL驱动下载,利用Flash漏洞并获得对访问主机的根访问权限。
我们使用这个数据集将UNICORN与StreamSpot对比,结果如下:
接下来,我们证明了UNICORN可以利用来自各种不同来源捕获系统的数据有效地检测APT。
参考文献中有关于者三个DARPA数据集的详细介绍。实验模拟了一个企业设置,包括安全关键服务,如web服务器、SSH服务器、电子邮件服务器和SMB服务器(用于共享文件访问)。红队通过使用火狐后门、Nginx后门和钓鱼电子邮件实施各种APT和常见的威胁攻击。
本文将良性数据集的90%用于训练,10%用于测试;sketch size为200,R=3,检测结果如下:
相关工作比较:
前面的攻击场景无法确保异常行为和正常行为之间的相似性,因此本文在Continuous Integration(CI)平台上单独设计了两个APT攻击场景,并使用CamFlow来捕获whole-system provenance,其中每个场景运行了3天。
将125个良性图分成五组进行5折交叉验证,来为正常行为进行建模。下图是实验的设置和结果:
下面通过调整各个Baseline参数来观察性能变化。
下图表示了随时间推移处理的边缘总数,以量化UNICORN的处理速度。CamFlow线(蓝色)表示捕获系统生成的边总数,其他线与该线越近,说明运行时性能越好,这意味着UNICORN与捕获系统CamFlow保持一致。
总体而言,上图表明UNICORN运行时对这些参数相对来说不敏感,这意味着UNICORN可以使用针对检测进行精度优化的参数,执行实时入侵检测。
我们针对工作量相对较大(即CI执行内核编译)的系统评估UNICORN的CPU使用率和内存开销。 实验表明,UNICORN具有较低的CPU使用率和内存开销。
当正常的系统行为发生变化时,UNICORN可能会发出假阳性警报,因为它不会动态地调整其模型(以避免攻击者中毒)。错误警报问题并不是独角兽所独有的。UNICORN使用概念漂移(IV-B),建模系统演化,部分缓解了这个问题。
需要对每个系统调整参数来提升检测性能。本文使用OpenTuner来自动调整。在本文的实验中,对于大多数数据集而言,都可以使用相同的参数。
在测试中,我们观察到独角兽在具有同质正常活动的领域表现得非常好。一些主机只会执行一些预先定义好的任务,UNICORN对这样环境下的主机检测效果较好。然而,一些主机会有各种各样的异质性行为,UNICORN没有考虑这一类主机的安全性。
我们强调,将UNICORN与其他现有的IDS(其中大部分是基于系统的)进行比较很困难,原因有:
起初,IDS仅仅依靠系统调用来进行建模,但随着攻击技术的提升,检测的准确度也随之下降。所以下一代的IDS在系统调用中加入和“状态”来提供上下文信息。UNICORN的方法完全不同,因为传统的系统调用方法不太适合APT攻击,而基于图表示和分析在检测APT攻击上具有良好的表现。一方面避免了昂贵的控制流构造和状态转换自动机,另一方面准确地描述和建模系统中数据对象之间的复杂关系,用于上下文化异常检测。
据我们所知,尽管有些系统会从审计日志中生成类似出处的图表 [83],但UNICORN是第一个通过对本地整个系统溯源进行运行时分析来检测入侵的系统。
StreamSpot分析流媒体信息图以坚持异常活动,但图特征受到局部约束,而 UNICORN的图特征执行上下文。此外,在APT场景中,攻击者可以操纵模型持久攻击,以逐渐和缓慢地改变系统行为,从而避免被检测。UNICORN充分利用它不断总结进化图的能力,建模它所监控的系统执行的相应演化。
随着APT攻击越来越突出,许多系统利用数据来源进行APT攻击分析。现有方法包括ProTracer、CamQuery、Holmes、SLUETH、Poirot、SAQL。UNICORN不同于传统的基于规则的系统,它是一个不需要专家知识的异常检测系统。
本文提出了UNICORN,一种实时异常检测系统,它利用整个系统的数据溯源来检测高级持续威胁。UNICORN通过结构化的溯源图(Provenance Graph)对系统行为进行建模,揭示了系统对象之间的因果关系,并在其流到分析管道中时,对其进行有效地汇总来考虑整个图。 我们的评估表明,由此产生的演化模型可以成功地检测出从不同审计系统捕获的各种APT攻击,包括真实的APT活动,并且具有高精度和低误报率。
原文作者:Xueyuan Han, Thomas Pasquier, Adam Bates, James Mickens and Margo Seltzer
原文标题:UNICORN: Runtime Provenance-Based Detector for Advanced Persistent Threats
原文链接:https://arxiv.org/pdf/2001.01525.pdf
发表会议:NDSS 2020
参考文献:
手机扫一扫
移动阅读更方便
你可能感兴趣的文章