1、 项目背景
近年来,视频监控在安防领域得到了大规模应用,海量的摄像头完成了部署。视频监控信息在维护社会稳定,协助安全防卫过程中发挥了重要的作用,与此同时也带来了海量视频数据可靠存储和并行访问的要求。
2012年1月,因某突发任务需要,某机构要在短时间内不间断的将海量视频信息集中上传到一个数据中心,同时大量的用户对上传到数据中心的数据进行下载、查看。在此过程中还要保证用户带宽的饱和利用以及视频数据的安全。同时该系统在保证性能的前提下,要实现快速部署、方便快捷的使用和智能管理。
2、 项目挑战
2.1快速部署要求
该项目为突发事件,没有提前准备的时间,用户要求在24小时内完成部署。
2.2大用户量并发访问要求
该项目中最大并发用户访问量达到200人。其中50人进行视频数据上传,150人进行视频数据下载。要求实现服务器自动均衡负载,系统性能随节点数增加而线性增长,性能与节点规模成正比,没有性能瓶颈,带宽饱和利用。
2.3高可靠性要求
该项目中涉及的视频数据至关重要,不容丢失,需要实现高可靠的冗余备份,同时自动屏蔽设备故障,提供24小时不间断的存储服务。
2.4高集成度要求
该项目为存储系统提供有限的物理空间,需要在1个标准42U机架内包含主控节点、备用主控节点、分布存储节点,总容量达到200T。
2.5简单通用要求
该项目用户较多,流动性大,需要实现无需学习即可使用。同时终端电脑操作系统较多,包含Windows 2000、Windows XP、Windows 7等,需要实现一键式安装,智能化自适应管理,简单方便的操作界面。
2.6动态伸缩要求
该项目数据庞大,要求在可以在不停止服务的情况下,根据项目进展情况,动态加入新的存储节点或者摘除原存储节点,在此过程中保证数据不丢失。
3.1存储系统设计方案
n 存储系统结构
存储系统采用主备两个元数据服务器和11个存储节点构成。使用2U标准上架机器,安装在一个标准42U机柜内。机柜内设备连接图如下图所示:
图2-1 云存储系统部署示意图
其中,元数据服务器保存系统的元数据信息,负责整个文件系统的管理,是云存储文件系统中的“大脑”,它维护了一个统一的命名空间,同时掌握整个系统内存储节点使用的情况,据此可以实现整个系统范围内数据存储的负载均衡。
每个存储节点包含8块2T硬盘,同时元数据服务器复用为存储节点,每台包含6个2T硬盘,总容量共计200T。
n 可靠性设计
GS-7200云存储系统采用了如下设计,保证系统的高可靠性:
1) 冗余备份方式
在文件存入云存储系统的过程中,被分为了很多64MB的文件块,自动为每个数据块做了一个备份副本。系统自动将源文件与副本存在不同的存储节点,实现了冗余备份。任意撤出一台存储节点都不会影响其中保存的数据,并且在一个存储节点丢失后,系统会自动检测丢失的副本,在其他存储节点补充完整。
2) 动态伸缩方式
GS-7200存储系统提供容量在线伸缩能力,不必停止服务,即可根据存储容量的需求,灵活增减存储节点。增加新的存储节点是一件十分容易的事情,存储节点只需要注册到元数据服务器上即可。
3.2网络部署方案
具体部署描述为:
1) 存储集群机柜使用的是TP-Link 24口千兆以太网交换机;
2) 上传区域接入三个千兆交换机(从机柜拉出三根);
此处后续在服务可停的情况下可优化为三个交换机串联,从机柜拉出一根网线即可;
3) 下载区域一接入四个千兆交换机(8口×1 + 24口×3);
4) 另外两个下载区域接入三个千兆交换机(24口×3)。
3.3客户端方案
n FTP
FTP部署在存储节点上,存储节点既提供存储服务,也对外提供数据访问服务。
传使用管理账户,有读写和删除权限;下载采用匿名账户,仅有下载和部分上传权限(不能上传服务器中已经存在的同名文件,不能删除、移动文件)。
n GS-7200客户端
使用GS-7200 Windows客户端上传和下载数据:
使用者在安装好的客户端后,运行GS-7200Client,只需集群虚拟IP和挂载盘符M(可指定),就可以将GS-7200云存储系统映射成本地海量磁盘M,客户端在资源管理器中将能看到增加的盘符;此时客户可以使用GS-7200提供的磁盘资源,对其进行数据的读写、修改等操作。
3.4现场部署、使用情况
图2-2 GS-7200云存储系统现场部署示意图
具体描述为:
1) 在1个标准42U机柜内配置1个主Master、1个备用Master、11个存储节点,实现200T存储空间。
2) 通过千兆以太网交换机,分别连接三个视频下载及一个视频上传区域。每个区域分别配备50台电脑。
3) 在每个电脑上安装GS-7200客户端,将整个云存储系统映射为一个虚拟硬盘。用户如同操作本地硬盘一样实现对存储系统的使用。
4) 云存储系统自动实现数据冗余备份,用户均衡负载等功能,为每一个终端用户提供高效的访问及可靠的数据安全服务。
1、 客户受益
在该项目中,宝德以其优异的设备性能,良好的服务,快速的反应速度,为用户任务的圆满完成提供了可靠的保障。具体体现在:
1) 24小时内实现了在1个42U机柜内200T存储空间部署。
2) 200人并发使用GS-7200存储系统情况下,能够迅速的实现大量监控视频的上传与下载、顺利的观看监控录像。
3) 7*24小时不间断存储服务,未出现任何数据损坏丢失问题。
4) 客户端一键安装,用户无需培训即可方便使用。