依靠大数据处理技术应对APT攻击

APT对传统检测技术形成的挑战

正如其名称所体现出来的含义，APT为传统检测技术带来了两大难题：

A（Advanced）难题：即高级入侵手段带来的难题。相比传统攻击手法，APT攻击具有单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定等特点，使得传统的基于特征匹配的边界防御技术难以发挥作用。

P（Persistent）难题：即持续性攻击带来的难题。典型的APT在攻击时间上具有持续性，一旦入侵成功则长期潜伏，寻找合适的机会外传敏感信息，而在单个时间点上却无明显异常，使得基于单个时间点的实时检测技术难以应对。

从博弈双方看，攻方可借助跳板隐藏自身，在入侵成功后删除目标主机上的日志信息，隐藏攻击过程；对检测方而言，只有在攻方与目标之间的通信链路是可控的。从链路中获取的流量真实完整地记录攻击过程且不会被攻方躲避和篡改。从链路流量中检测APT攻击是可行的办法，这也是当前的主流方案。

当前业内APT检测方案对比

沙箱方案：为解决特征匹配对新型攻击的滞后性而产生的解决方案。其原理是将实时流量先引入虚拟机或沙箱，通过对沙箱的文件系统、进程、注册表、网络行为实施监控，判断流量中是否包含恶意代码。同传统的特征匹配技术相比，沙箱方案对未知恶意代码具有较好的检测能力，但其难点在于模拟的客户端类型是否全面，如果缺乏合适的运行环境，会导致流量中的恶意代码在检测环境中无法触发，造成漏报。

异常检测方案：为解决特征匹配和实时检测不足而产生的解决方案。其原理是通过对网络中的正常行为模式建模而识别异常。核心技术包括元数据提取、正常行为建模和异常检测算法。该方案同样能够检测未知攻击，但检测效率依赖于背景流量中的业务模式，如果业务模式发生偏差，则会导致较高的漏报与误报。

全流量审计方案：同样是为解决传统特征匹配不足而产生的解决方案。其原理是对链路中的流量进行深层次的协议解析和应用还原，识别其中是否包含攻击行为。检测到可疑攻击行为时，在全流量存储的条件下，回溯分析相关流量，例如可将包含的http访问、下载的文件、即时通信信息进行还原，协助确认攻击的完整过程。这种方案具备强大的事后溯源能力和实时检测能力，是将安全人员的分析能力、计算机强大的存储能力和运算能力相结合的完整解决方案。

上述异常检测方案、全流量审计方案底层都要依靠大数据处理技术。通过对国际上主流产品的调研，我们发现目前此类产品的处理能力可支持10GB带宽及10TB级的海量存储，以及对上千种协议的应用识别与深层解析，具备常见应用如http页面、流媒体、IM等的还原能力，同时具备规则匹配能力和异常检测能力。

基于记忆的智能检测系统

有了全流量审计，我们很自然地会面临接下来的问题：传统的检测产品和平台还有必要吗？在全流量都被审计的前提下，还需要进行传统的攻击检测吗？

我们需要全流量检测，因为传统的检测技术只解决了“What”的问题，没有解决“How”和“How Much”的问题。使用检测产品虽然可以检测到特定的攻击，但检测不到攻击的细节（如：具体的攻击流量是什么）及攻击的进展程度（如：目标是否已被入侵）。通过全流量审计，这些问题都可以找到答案。

此外，也需要传统检测技术，因为在对全流量进行审计时，需在海量数据中找到分析任务的聚焦点。一个百兆的网络，22个小时的流量就达1TB，如果没有任何指示信息，在如此海量的数据中进行攻击检测犹如大海捞针。此时，传统检测技术的作用则类似于“触发器”与“探照灯”，当检测到APT行为的蛛丝马迹时，结合全流量审计进行回溯与深度分析，则可建立完整的攻击场景。

在全流量审计的辅助下，传统的检测产品将对历史流量具备“记忆”能力，形成基于记忆的智能检测系统，其检测对象不再是实时时间点，而是历史时间窗；对于漏报的攻击行为，也可通过对历史流量进行回溯审查的方式