网络事件的数据分析

　　当下社会网络和信息化技术的发展，越来越多的信息系统也拥有越来越高的普及度。那么作为一个网络管理员，如何确保复杂网络高效、安全、可靠地平稳运行，是面临的越来越严峻的问题。面对复杂多样的网络事件和警报，需要引入数据挖掘与事件关联技术。通过对市、县国网企业内网等高安全等级网络面临的安全威胁和防御需求进行深入分析，本文把数据分析与网络事件进行关联应用到了网络故障管理与分析系统当中，主要对复杂网络中的网络事件的数据进行详细的分析。设计一个完整的网络事件告警与数据分析系统，将数据抓包、解码、重组与管理员主观看到的网络事件相关联，并且对事件收集、数据处理等进行了详细描述。

　　关键词事件关联;数据抓包;数据分析

　　选题意义

　　随着现代科技的发展，网络办公已成为日常办公的模式，信息系统网络已成为国网公司工作的重要组成部分。由于其规模大，部署复杂，网络在运行过程中会不可避免出现一些故障，如网络出现丢包、后台访问慢或者不可访问、网络环路、网络中内外网误联等问题。遭遇过交换机回路事件的网络管理员都知道“交换机环路”如一个人牙痛一样，让人无从下手。这些故障如果不及时处理，影响正常工作，甚至造成违规外联事件和泄密事件。

　　如何快速发现并定位网络故障呢?企业网络规模不断扩大，内网、外网、生产网以及个人使用无线网络充斥其中，各种网络事件、安全事件、安全隐患充斥其中，这对网络管理工具和防护工具有了更高要求。为了能帮助管理人员从容应对现在的网络事件和威胁，我们研究一套网络异常数据分析及网络事件故障快速定位工具，能提高网络事件处理时效性;本次研发的工具可对网络数据进行分析，时时呈现网络状态，发现异常数据，及时发现网络中的环路、攻击、恶意域名、内外网误联等事件，定位事件源，并记录相应日志，为信息管理人员掌握网络情况、发现并处理网络故障提供了可靠依据，简化了分析网络报文的工作时间，提高工作效率。

　　研究内容和解决方法

　　对于管理员来说网络故障告警比较重要性，同时网络中故障的发现与管理也很重要。本文是在复杂的网络环境中，针对网络告警事件进行相关性研究，分析报警事件发生时的实时数据包。通过告警的网络事件与实时数据包关联分析以及相关性分析，可以将所发生告警事件进行相关性分析，这样就有利于将多数的告警归类成少量告警，并以此来过滤掉大量误报的数据以及与主要故障不相关的非必要的告警。这样不仅可以使得网络管理员较为轻松地找到故障发生的根本原因，及时排除故障，而且还可以根据相关性分析，提醒管理员近期可能发生的故障，从而从根本上保证了网络可靠、稳定的运行。

　　(一)研究内容

　　本次研发的工具主要目的是为了提高网络的安全可靠性，及时发现网络中环路、网络攻击、恶意域名、内外网误联等事件，并记录相应日志。为信息管理人员掌握网络情况、发现并处理网络事件提供了可靠依据。研究内容体现在以下方面:

　　(1)研究数据包的获取及数据包解码分析。数据包通过交换机的镜像口或者trunk口获取。通过trunk口识别交换机划分的vlanID。数据包解码可以把数据包深度解析，把数据的控制部分和数据部分分别存储，提高数据的解码的速度。自动分析网络中的数据，发现网络中的威胁事件，定位故障，基于应用、IP、端口等图表展现网络情况，方便管理人员掌握整体情况。研究内网异常终端的发现。在交换机的trunk口，通过数据抓包和分析，呈现每个VLAN的在线终端及MAC，发现内网中的异常终端。

　　(2)研究网络威胁事件。例如研究ARP扫描、广播风暴、IP地址冲突、SQL注入攻击、ARP攻击等事件，分析相关事件的原理及特征，归类整理为事件特征库。 (3)研究以矩阵显示网络情况。研究以流量矩阵和事件矩阵显示网络情况。事件矩阵可以设置事件阈值显示当前网络中高频发生的事件，例如ARP攻击等事件可快速过滤出来。流量矩阵可基于TCP、udp、arp、单播、多播、广播、传输方向等元素，显示网络状况。(4)研究网络流量的实时监控及异常事件告警方式。

　　(二)解决方案

　　本次研发的工具是在交换机的镜像口或者trunk口进行数据抓包分析的基础上，发现及定位网络中的故障信息，为信息管理人员提供网络的运行情况，提升故障处理时效性。

　　1.系统架构本工具有远程管理软件和数据采集分析器构成;数据采集分析器的数据采集口接在交换机的镜像口或者trunk口获取数据并分析，远程管理软件安装在笔记本电脑上连接到数据采集分析器的管理口。ETH0:管理口，接安装远程管理软件的终端。ETH1:数据分析口，接交换机的trunk口和镜像口获取数据分析。

　　2.功能研发功能研发分为:数据采集模块、数据解码分析模块、事件告警模块、日志记录模块。

　　(1)数据采集模块。把数据分析接口设置为混杂模式，可以在交换机的镜像口或trunk口获取数据。

　　(2)数据解码分析模块。通过研究ARP扫描、广播风暴、IP地址冲突、SQL注入攻击、ARP攻击等事件，分析相关事件的原理及特征，归类整理为事件特征库，提高数据分析和事件识别的速度;通过数据包解码分析，提取数据报文的IP地址信息，实现IP资源统计区分，自主定义内网合法终端IP地址段，实现异常终端和MAC地址的发现，通过和交换机的配合实现对网络事件的定位。

　　(3)事件告警模块。通过与事件特征库进行特征比对，快速发现网络事件，并把网络事件及故障源显示在告警区域;设置矩阵的阈值也可以显示网络中的故障事件，通过设置事件阈值显示当前网络中高频发生的事件，例如ARP攻击等事件可快速过滤出来。流量矩阵可基于TCP、udp、arp、单播、多播、广播、传输方向等元素，显示网络状况。

　　(4)日志记录模块。可以把一段时间网络的数据抓包及分析情况记录在本地，方便日后的事件溯源。

　　(三)功能的实现数据包捕获和解码、统计分析、智能分析是网络数据包分析的基本分析方法，它们大致分为实时网络流量分析、流量统计分析、协议统计分析、数据包大小分布、主机和流量统计分析、会话统计等方面。对网络流量进行全面数据采集和统计分析，包括对每条链路进行集中或单独分析，并能根据用户的实际情况提供各种图形界面对结果进行展示。

　　实时统计主机的流量、收发包数、标志位情况、收发包比例、会话数等。通过主机的流量统计参数可以快速找到可疑主机，帮助网络管理者定位问题。通过对网络中主机的会话情况进行统计，包括物理会话、IP会话等，并能对这些会话提供时间、流量、数据包等进行排序，会话分析可以对网络情况进行详细的展示，并能快速发现主机的异常情况。

　　通过数据采集模块抓取流量数据，对捕获到的数据包进行实时解码，解码的格式包括概要解码、字段解码、十六进制解码等数据包解码信息。正常情况下在网络活动中网络协议类型和访问数量很多，非专业的数据包抓包工具对数据包的解析程度也不相同。通过对比数据包解码信息，我们可以直观的看到网络中传输的原始数据包信息，以此能够明确网络中的攻击现象和故障源头。

　　通过镜像或者trunk口，交换机能够将选定端口或中传输的流量复制发送到指定的交换机端口，该端口一般称为流量监控端口，数据采集模块只需接入该端口就可以分析到其他端口的网络流量。通过对数据包的解析和重组进行数据分析，分析网络事件的特性，归类整理为事件特征库。当发现类似于ARP扫描、广播风暴、IP地址冲突、SQL注入攻击、ARP攻击等事件，会以告警形式把网络事件及故障源通知给网络管理员，同时把一段时间网络的数据抓包及分析形式以矩阵方式直观展现出来。

　　创新点

　　(一)网络协议解码分析快速呈现事件真相通过“所见即所得”协议分析模式对网络事件报文进行解码，归类、阈值设定、智能关联分析等策略预制和自定义规则，快速呈报事件关键线索。通过交换机trunk端口将所有VLAN的信息传过来，系统通过数据包解码实现IP资源统计区分，定义内网终端IP地址段，实现异常终端和MAC地址的发现，通过和交换机的配合实现网络的快速发现和处理。

　　(二)网络数据包VLAN解码通过交换机trunk接入对数据包报文分析研究，解决抓包工具和交换机网管对各个VLAN无法全局呈现的不足，对通过VLAN号找到网络事件的影响者提供了重要保障。

　　(三)网络数据端口检测工具接在交换机的镜像口，可对整个网络的流量进行监控和分析。通过内置的安全策略规则库，对已知的网络端口扫描、后门木马、TCP、UDP等协议渗透、攻击进行识别报警。也可以添加自定义监控对象，灵活的设置策略，对某个IP或者IP地址段、某个端口或者端口群组进行监控和告警。(四)网络故障定位通过系统内置的网络专家诊断设置对ARP扫描、ARP广播风暴、IP地址冲突，网络回路等网络故障进行检测，通过mac地址和VLANlD配合交换机进行定位。

　　结语

　　开发的工具可实现内网网络环路、ARP事件告警、网络数据端口检测、终端识别及监控等功能，这些功能对运维人员的工作提供帮助，快速发现、定位故障，保障网络的安全，提高了管理人员的工作效率。

　　(一)实现内网异常终端发现通过交换机trunk端口将所有VLAN的信息透传过来，系统通过数据包解码实现IP资源统计区分，定义内网合法终端IP地址段，实现异常终端和MAC地址的发现，通过和交换机的配合实现异常终端的定位。

　　(二)实现内网VLANID识别及IP地址统计通过交换机trunk接入，可识别内网的vlanID，并可统计每个VLAN的在线IP有多少。

　　(三)实现网络数据端口检测工具接在交换机的镜像口，可对整个网络的流量进行监控和分析。通过内置的安全策略规则库，对已知的网络端口扫描、后门木马、TCP、UDP等协议渗透、攻击进行识别报警。也可以添加自定义监控对象，灵活的设置策略，对某个IP或者IP地址段、某个端口或者端口群组进行监控和告警。

　　(四)网络故障定位通过系统内置的网络专家诊断设置对ARP扫描、ARP广播风暴、IP地址冲突等网络故障进行检测和定位。该研究的应用反馈，在实践上有着较为重要的意义。可实现实时数据包的捕获和分析，对高速网络数据包捕获速度匹配也进行了算法改进，可协助运维人员快速发现网络攻击和故障，定位网络故障源，明确网络通信情况，缩短了运维人员发现、处理故障的时间，提高了效率。随着网络应用软件和网络技术的飞速发展，其研究和应用范围还要不断扩大，该工具小巧，部署灵活，在日常的巡查或检查工作中携带，能快速发现网络的故障，有效提高了工作效率，保障了网络安全，社会效益显著。

　　参考文献：

　　[1]张同升.基于P2DR2信息系统安全策略研究[J].信息安全与通信保密，2013(5):90-92.

　　[2]付钰，李洪成，吴晓平，等.基于大数据分析的APT攻击检测研究综述[J].通信学报，2015，36(11):1-14.

　　[3]杨英杰，冷强，常德显，等.基于属性攻击图的网络动态威胁分析技术研究[J].电子与信息学报，2019(8):1838-1846.

　　[4]李立勋，张斌，董书琴.网络动态防御体系下主机安全威胁分析方法[J].网络与信息安全学报，2018(4):48-55.

　　[5]肖海林.网络告警关联规则挖掘系统的研究与设计[D].成都:电子科技人学，2007.

　　[6]王乐鹏，潘华，等.电网企业信息化原理及应用[D]北京:中国电力出版社，2007:5-15.

　　作者：张文丰李麒邱逸轩狄亚平焦晓波