FusionCenter平台在公安宽带网络运维管理中的应用

　　（一）智能化信息采集

　　FusionCenter部署在网管上层，通过北向接口与网管进行信息互通。百网管作为数据汇聚中心，负责收集各个网元的维测数据，FusionCente进行周期性数据提取，相比网管具有更大的存储空间，可以保存时间范围更久的数据，便于历数回顾和业务发展趋势预测。

　　数据采集通过日志的形式进行，日志通过CSV格式存储，命名采用“日志名_时间戳•csv”

　　不同日志根据内容需要定义不同的字段。

　　日志传输使用HTTPS（Hyper Text Transfer Protocol over Secure Socket Layer）文件传输协议，是HTTP的安全版，即HTTP下加入SSL层，提供了身份验证与加密通讯方法，能够在网络上安全传输敏感数据。

　　传输流程如图4所示，网络侧配置FusionCenter服务器IP对应的域名，收集服务通过访问域名下的url接口发起日志上传请求。FusionCenter收到请求后，生成AES密钥、Token，并将AES密钥、Token、日志上传地址、日志上传接口等信息发送给收集服务。收集服务收到以上信息后开始文件上传，对于超过1M的文件做分割，分割为1M为单的文件块，按顺序上传使用AES密钥加密后的文件块，上个文件块的Header中需要包含Token信息和文件块的Range、BIockSize、Md5等文件描述信息，文件块成功传输后收集服务收到HTTP的201状态码回复，继续上传下一个文件块。全部上传完成后收集服务收到200状态码的回复。

　　此方案对于收集服务侧只需固定域名即可实现文件上与FusionCenter服务器IP等配置无关，并且支持大文件上传和断点续传，对于大规模网络的海量数据上传能提供可靠稳定的传输链路。

　　（二）高效率处理引擎

　　FusionCenter采用Spark作为数据处理引擎，Spark是基于内存计算的大数据并行计算框架，在速度、效率及通用性上表现极为优异。其生态系统包含多个组件：Spark SQL、Spark Streaming、MLlib Graph X等。分别用于查询结构化数据、实时流处理、机器学习和图计算，它们能够使用RDD无缝的集成，形成一站式的处理平台。

　　Spark每一个作业独立调度，可以把所有的作业做一个图进行调度，各个作业之间相互依赖，在调度过程中一起处理。所有过程都基于内存，一次读取数据缓存在内存中，内存的数据读取比磁盘数据读取快很多。而且Spark的RDD数据结构在每次Transformation后不立即执行，而且Action后才执行，又进一步减少了I/O操作。

　　基于这些机制，Spark在数据处理上具有更快的运算速度，对于公安行业有在数以万计的前后端设备，产生TB级或PB级的海量业务数据，能够节省更多的数据处理时间，提高分析效率，更好的适应公安大数据分析的要求。

　　责任编辑：思睿