法安网

法安网内容检索

当前位置:首页 > 专题报道 > 安防云存储 >

超融合云存储架构的构成

时间:2019-08-01 13:42:50   来源:浙江宇视科技有限公司

[法安导读]    如图3所示,宇视超融合云存储底层硬件全部由高密度存储设备构成,计算能力和智能能力由额外的PEIE扩展卡来实现。中间是核心处理层,负责将

  如图3所示,宇视超融合云存储底层硬件全部由高密度存储设备构成,计算能力和智能能力由额外的PEIE扩展卡来实现。中间是核心处理层,负责将存储、智能、计算三大资源统一拉通虚拟化,给上层的业务服务提供资源上的支撑。最上层是对外业务层,除了可以提供各类安防必须的业务服务外,还能提供一些额外的定制化服务,使用户在使用时更加灵活。 除此之外,整套超融合云存储还提供了统一的运维界面和安全管控准入机制,充分保障系统运行的安全性。

超融合云存储架构的构成

  1.核心处理层

  (1)存储资源池

  存储资源池最核心的作用是拉通底层所有的存储资源(SSD、硬盘、磁带、光盘等),并且提供一定的冗余机制,保证部分存储介质或部分存储设备故障时,数据不丢失,业务不中断。为了实现该目的,市面上常见的做法是采用开源软件来部署分布式存储系统,例如HDFS、GlusterFS、Ceph等。在这些资源保护手段上,常见的有纠删码、多副本。

超融合云存储架构的构成

  纠删码的保护方式一般采用N+M,也就是原数据+冗余数据的保护模式,例如在4+2的模式下,一个大数据块写入,会被分成4个相同大小的数据分片,并通过计算得出2个冗余分片,分别写入到4+2个存储节点(如图4所示)。在这种情况下,任意2个节点故障损坏,数据都不会丢失,都可以通过剩下的数据计算后恢复出来。 多副本的保护方式相对来说更直接,即当数据写入到某个节点时,再按照之前配置的副本原则,再复制多份副本存入其他节点,保证多个节点上同时存在多份完整的数据(如图5所示)。

超融合云存储架构的构成

  纠删码对于存储空间的利用率相对较高,但冗余度没有多副本的方式高,鉴于两种方式各有优缺点,因此在实际安防业务的存储过程中,一般会根据不同类型的业务产生的不同类型的数据来选择相应的保护策略。

  (2)计算资源池

  计算资源池最核心的命题是将所有存储设备(包括额外扩展的计算卡)上的CPU、内存等计算资源做统一集合,按需分配给不同的业务去使用,使得所有的计算资源可以得到最大限度的利用。为了防止某一应用占用大量计算资源却长期处于闲置状态,计算资源池应具备动态调节能力,将未充分使用的计算资源及时释放,使资源得到充分利用。并且在业务运行过程中,计算资源池还具备实时监控能力,若某个业务、某个虚拟机出现挂死等情况,可以自动将业务迁移到其他位置运行。此外,具备类似CDP数据持续保护、模板、快速备份等功能,以保障运行在上面的业务的可靠性。

  (3)智能资源池智能资源池与之前提到的计算、存储资源池类似,就是将智能卡上的GPU资源池化,提供给上层智能业务使用。上层智能业务可以按需来池中提取相应的资源,用于不同的智能业务。同一个物理GPU可以按时间来分配给不同的智能业务,而这个GPU故障时,上面的业务也可以动态的迁移到其他GPU上,保证业务不发生中断.

  2.对外业务层

  基于超融合的架构,已经具备了安防业务所必须的计算、存储、智能资源,那么安防的业务必然会全套部署在这之上。在对外业务层,会承载安防的各类相关业务,如视频流业务、视频存储业务、图片存储业务、数据索引业务以及数据清洗业务等等,这些业务都会通过虚拟机的方式部署在多块计算板卡上。由于承载了多种对外的重要业务,所以对外业务层的可靠性、高效性、易用性尤为重要。一般来说,会通过虚机HA、CDP持续数据保护技术、虚机快速备份、虚机自动重启等技术,来保障对外业务层的可靠性;通过动态资源调整、虚机热迁移来提升对外业务层的高效性;通过虚拟机模板,以及业务可视化部署的方式,来增加整套业务部署的易用性,提升客户使用的满意度。

  (1)可靠性

  当某个业务所在的虚拟机运行发生死机、蓝屏等故障时,重启是最简单的恢复办法,而超融合云存储系统需要具备及时感知的能力,在此类故障发生时及时发出指令,重启响应的虚机来快速恢复业务。但有时候重启虚机并无法解决问题,或者存储设备已经发生物理故障,无法再运行业务,就需要超融合云存储系统感知后做出相应的反应,来保证业务继续正常运行,不发生或者尽量少发生中断.虚机HA的技术可以在发生上述故障时,及时检测到故障,并将虚机业务整体迁移到其他日存储设备上运行。通过这种方式,可以快速恢复关健业务,避免业务中粉导致的损失,甚至可以做到无感知

  伙复.传统物理机下的HA方式存在一个弊端,那就是一个物理机(业务)需要1:1的准备一台备机来做接官业务.如果部署了多个物理机,(业务),而这些物理机上的业务都比较关键,那就需要多台备机来做接管业务,造成了大量资源的浪费。而虚机HA的另一个优点就是,只需预留一份的计算资源,就具备接管多个业务的能力,极大地节约了计算资源。

  这是解决业务运行可靠性(连续性)的问题,接下来还有数据可靠性的问题,即发生故障后,数据、配置如何不丢失?一方面,超融合云存储系统可以提供虚机快速备份功能,按周、按天、按小时的自动快速备份,并定期清理,如果出现不可逆转的数据损坏或丢失有备份就可以恢复。而有些更细致的业务,会精细到一小时内的数据丢失也无法容忍,这就需要依赖CDP持续保护技术,通过将秒级的I0操作进行备份,实现零丢失的数据恢复,实现业务保护,理论上可以将数据恢复到故障发生前的1秒。

  (2)高效性

  安防业务和普通IT业务很大的不同之处在于,高并发的业务和突发流量的业务并存(视频存储业务是7x24小时不间断,视频调阅业务是随着案事件的发生,存在突发性的)。所以为权衡这两者,提供最高效的资源分配和资源利用,超融合云存储系统设计了一套高效的资源调度系统。例如,正常情况下流媒体转发服务和点播服务不会占用太多资源,所以一开始出于节约资源的原则,就会给这些业务分配少量的 CPU相内存资源。 当有案事件发生时,大量的用户开始调阅视频、调阅录像,那么流媒体转发服务和点播服务的业务就会增大资源消耗,这时系统就需要动态的给这些业务增加CPU和内存的数量。 当单台设备上的剩余CPU和内存资源已不足时,系统还支持动态的将业务所在的虚机迁移到其他设备上,在整个过程中,业务并不会发生中断,客户也不会有任何感知,完全是系统在自动的情况下将业务迁移到了最合理的设备去运行,以最高效的方式实现业务的分配和调度。

  (3)易用性

  在有大量设备的情况下,运维一直是困扰维护人员的一个问题。超融合云存储系统需要具备基于业务的运维界面,一方面,需要提供业务快速上线功能,从虚机划分、资源分配、业务安装等都可以快速分配一键安装,使业务功能可以在最短的时间内使用;另一方面,需要提供可视化的运维以及故障管理,使运维人员能够快速发现问题、定位问题、解决问题。

作者:许嗣强

编辑:广汉

声明:

本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。

征稿启事

  • 投稿信箱:195024562@qq.com

品牌推荐更多>>