AI大数据时代下的安防云存储技术

　　存储在如今已经成为一个家喻户晓的名词了,小到我们个人常用的百度网盘、新浪云盘,大到企业使用的阿里云、华为云等,作为一项日趋成熟的技术,云存储已经和我们的生活密切相关。 然而,我们大多数人只看到了云存储表面的便利性,却不知后台隐藏着极为复杂的技术背景。

　　一、云存储与云服务的区别

　　从技术上来讲,云存储大概可以分为应用业务层、文件管理层和数据分配层三层结构。应用业务层即我们平时所使用的云服务,为后两个层级提供的存储和计算资源,我们可以将本地数据存储在千里之外的数据中心,并可以对文件进行增删查改操作,甚至可以运行一定的软件业务,无需使用任何基础设施。云服务提供商通过搭建自己的数据中心,对外租赁数据中心空间的使用权,来实现可长期盈利的商业模式,不过这需要前期大量的资本投入。文件管理层指的是覆盖于最底层存储资源之上的文件系统,可接收远程终端传输的文件,并将文件分门别类,有效管理。数据分配层主要作用是将文件系统中的文件构建纠删冗余,采用伪随机算法将数据真正的落到物理存储介质中。

　　二、安防行业云存储

　　安防行业云存储偏重于文件管理层和数据分配层两个层级,在应用层方面目前发展不多。其诞生之初,旨在解决传统集中存储多台管理复杂,数据安全性较差等问题。 传统安防行业存储的数据类型以视频为主,随着相关政策的出台,视频的存储时长要求在遂渐提高。 对于智慧城市行业来说,存储时长由1个月逐渐提高到3个月。对于政法行业来说,

　　存储时长要求已经由3个月提高到1年,产生的数据量可想而知。举个例子,一座小型城市要想实现公共区域无死角的监控,需要少则几千,多则上万的点位。如果按照1万路1080P视频,采用H.265视频压缩技术,存储1天就需要200TB的存储空间。而通常“平安城市”的视频要求存储至少90天甚至1年之久,轻轻松松就达到了几十甚至上百PB级别的存储容量。面对这么大的存储需求,如果使用传统单台设备存储的方式进行管理,耗费的人工成本将极为巨大,且运维困难,数据安全得不到保证。为了解决这两大问题,最初的安防云存储应运而生,通过虚拟化和纠删冗余这两大核心技术,云存储利用最小的冗余度获得了最大的安全保证,并将一台台独立的存储服务器虚拟成一个统一的存储资源池,资源池内数据采用独有的算法进行数据存储,对外提供统一的接口接收数据。

　　当前市场上的安防云存储主要有对称架构和非对称架构两种,两者各有优劣势。非对称架构的云存储由云存储管理节点和存储节点组成,管理节点通常使用高配置的服务器来进行资源调配的功能,存储节点一股所用配置较低,这种方式的优势在于,由于存储节点数量较多,管理节点数量较少,整体的成本会偏低。但劣势也很明显,一旦管理节点发生损坏,整个存储葉群将无法使用。 对称架构与非对称架构的区别就在于它没有管理节点,而是把管理节点虚拟到集群中,

　　巡样做的好处是省去了一台服务器,节约了成本。其次,从安全性考虑,由于管理节点虚拟到集群中,并在节点之间不断转移,就可以实现节点损坏的随机性。也就是说,不再指定固定的某台服务器不能损坏。目前安防云存储市场的趋势更加倾向于对称架构,只要成本允许的条件下,推荐使用对称架构的云存储,不仅因为其安全性较高,更是因为这种架构具有可拓展性。通过将每台独立的服务器虚拟成一个存储池,可以在里面划分不同的存储空间,然后在各个空间内运行虚拟机,进而可以实现各种不同的业务。一套硬件实现了所有业务,构成了一个超融合系统。

　　截止目前,各大云存储厂商的数据分配层技术可以说已经十分成熟。基于不同的开源项目如 Ceph、GlusterFS,Sheepdog、Swift,还有不同的商业实现如Google、AWS,微软、金山、七牛、又拍、阿里云还有Qingcloud等,每个云存储厂商都推出了自己独有的云存储产品,数据安全问题得到了解决。除了数据安全,底层考虑的另一个核心问题就是存储的性能。因为我们知道,通过伪随机算法来进行数据分配是十分占用硬件资源的,而且长时间满负荷运行对CPU等核心配件的消耗较大。这样一来,文件系统所能使用的计算资源就非常少,两者之间的交互就会出现速度不匹配的问题,导致存储性能无法提升,这对视频存储的影响是十分巨大的。随着高清化视频监控的普及,1080P分辨率几乎成了安防项目采购的最低配置,而4K等分辨率也逐渐在安防市场崭露头角。

　　前面也已经提到,在一个小型的“平安城市”项目中,几千或上万的点位数已经成为常态,那么如果按照1000路1080P前端,8Mb码流来算的话,每秒产生的数据量就有8GB。如果存储系统无法同时写入这么多数据,就会造成数据丢失,如果配置的路数较少,就会造成存储空间的浪费。所以,优化底层处理机制所占用的资源是云存储发展需要迈出的第二步。通过这一步,不仅能解决性能问题,还会降低硬件的成本,让云存储由行业专用逐渐走向民用,实现真正的普及。

　　三、AI时代下的数据特色

　　针对视频云存储技术,业内主流安防厂家可以说已经做得炉火纯青了。 安防厂家将云存储的底层技术与安防专用流媒体结合,形成了安防特色云直存产品。无需外部设备拉流,存储可直接接收前端传输过来的数据。但如今,安防行业也发生了翻天覆地的变化,视频流已经完全不能代表安防行业的数据特色了,AI时代即将来临。目前业内的AI数据内容主要有人脸数据和结构化数据两种,包含机动车、非机动车、行人。

　　数据类型包含了图片、抓拍记录、报警记录、图片属性信息等一系列非结构化数据。这类数据的特点是比较碎片化,与视频流数据类型不同。视频流可以保证持续不断的写入,而且文件打包大小比较均匀。但是碎片化的文件,由于其大小和数量都是未知,零散的写入对CPU和硬盘资源的消耗都是很大的。对CPU来说,需要同时处理很多的线程。对于硬盘来说,磁头需要不断的换道寻址,大大减少了硬盘的寿命。对于这种比较特别的数据类型,传统的流媒体服务无法进行处理。目前主流安防厂商都为此专门开发了用于拉取此类数据流的软件,安装在通用的存储硬件中就可实现存储功能。由于是新兴市场,目前绝大多数场景中使用单台设备存储就可以满足,但随着AI的普及,数据量也将不断增大,对于一座城市来讲,为了掌握城市中交通状况,需要采集每一条道路、每一个路口的车辆数量信息、拥堵信息以及车流走向等。

　　通过算法后的数据,可以模拟城市交通的运行状况,以此来预测下一秒的动向,及时作出预警方案,实现真正的大数据时代。 当数据规模扩大到一定程度的时候,底层的云存储机制将是人们不得不考虑的技术支撑。但这样的话问题就出现了,传统安防云存储只有对视频的接入能力,无法主动获取结构化数据。于是,在未来的短期内,这种AI数据云存储势必成为存储应用层的主流。

　　四、未来已来一异构云存储

　　虽然通过应用层与底层的对接,可以实现一体化的AI数据云存储,但是当数据类型进一步进化,出现新的数据结构时,云存储将如何应对?一味地做兼容开发势必不是长久之计,还会浪费人力物力。更糟糕的是,如果在一个现场存在多种数据类型,那就需要部署多套云存储来进行不同数据的存储,这对存储空间是一种极大的浪费,占用的资金成本也极高,可行性极低。为了解决这一困境,我们需要一种新的开发模式,那就是异构云存储,将存储的应用层与文件管理层、资源分配层独立开发部署,这样一来,做云存储底层和硬件的厂商可以专心保障存储机制的稳定性,应用厂商可以专心做不同数据类型的兼容。只要底层标准化做好,各大安防与存储厂商就可以形成一个稳定的生态合作。一方提供物理资源,一方提供上层业务,不再局限于软硬一体的产品模式。 在此基础上,一些受限于资本投入的厂家甚至可以开发自己的云服务。

　　上层的应用软件甚至可以存储在云端,作为一个公用资源,让终端用户开发属于自己的专业存储服务。未来已来,相信在不久的将来,势必会看到各大安防厂商、算法厂商、存储厂商共同合作,构建一个统一的AI存储生态圈,为AI的场景化、民用化提供有力的数据支持。

作者：付邦鹏、勒龙雪

编辑：广汉