解决方案

以客户为中心,提供定制化或一站式的全栈解决方案,赋能千行百业

宝德大数据存储系统解决方案
项目背景

xx台新媒体每天产生大量的视音频媒体节目,为超过百万用户提供多内容、全业务、高质量的节目服务。随着视频内容的日益积累、内容分发范围不断增大,对生产系统和存储系统都提出更高的要求,所以建立一套系统完善、安全性高的素材存储系统便是如今最重要的工作之一。

新项目的建设,将为xx台新媒体媒资库存储提供高性能的数据存储平台。满足存储空间的同时,还要求存储系统稳定可靠、高性能、易扩展、易维护等特性。针对xx台新媒体媒资库存储的需求,细化分析如下:

1.根据当前和近几年数据容量的增长预估,存储系统需要提供近500TB的有效存储空间。

2.存储系统具有良好的扩展性,以应对媒资系统扩容后更大存储规模需求

3.业务系统要求存储系统提供3GB/s的稳定带宽。

4.高可用存储,系统具备完善的自治能力,确保数据不丢失,存储服务不停机。

5.多协议支持,便于各类服务器和工作站接入并获取存储资源。

6.配置简洁,维护便捷,方便使用和后期管理。

方案介绍

根据用户的需求并结合用户的实际应用场景,在该项目中采用PL-XDFS分布式文件存储系统,构建海量、高效、可扩展的分布式存储系统。

通过PL-XDFS分布式存储系统丰富的协议支持、强大的横向扩展能力、超高的吞吐性能为媒资系统提供高性能、动态高可扩展的CIFS/FTP存储服务。同时结合其强大的动态扩展能力,可随着业务发展,快速实现性能或容量的动态扩展,大大简化系统规划难度、降低前期投入。

此次方案中配置了5个PL-XDFS节点,每个节点配置24块8TB硬盘,总裸容量达到了960TB,配合4+1的纠删码冗余策略,考虑到单盘容量较大,出现故障依赖网络恢复的时间较长,对业务系统的负载影响较大,在每节点内部配置RAID保护,每24颗磁盘配置2组12颗盘的RAID5+HotSpare,因此最终容量利用率为960TB*20/24*0.8*0.91=582TB。每个节点提供600MB/s的带宽输出,总输出带宽可以达到3GB/s以上。容量和性能均可满足业务需求。

每个PL-XDFS配置2*10Gbe+2*1Gb网卡,5个PL-XDFS节点之间采用万兆网络互连,流媒体和新媒体工作站采用万兆网卡接入万兆网络,其他业务服务器通过千兆网卡与每个PL-XDFS的千兆网口实现业务组网。

PL-XDFS同时支持POSIX/NFS/CIFS/FTP协议, 无需安装任何客户端,即可实现多客户端跨平台访问,满足了媒资平台不同主机平台共享访问媒体资源的需求。

PL-XDFS除纠删码保护外,还支持副本保护,未来对于部分要求更高可靠性的数据,可采用副本方式进行增强保护。

PL-XDFS的核心是XDFS分布式文件系统,XDSF是宝德基于业界领先和广泛使用的GlusterFS分布式文件系统,结合技术团队多年的工程化及系统优化经验,针对非结构化数据应用环境推出的海量分布式存储系统。XDFS可实现动态的容量及性能扩展、卓越的系统高可用性;借助虚拟化和并行化的卷组、文件系统资源管理,可构建大规模、高性能、动态可扩展的共享存储架构。XDFS可实现192PB的海量存储规模、 可线性扩展的高性能。

方案解析

1、分布式存储集群,去中心化架构,无需独立元数据服务器

2、基于DHT算法智能数据定位,有效提升媒资素材检索效率

3、全以太网单网架构,无需专用的光纤通道设备(FC-SAN)

4、综合采用RAID、纠删码数据保护,有效实现了节点内、节点间的复合数据

保护,并合理控制了数据修复的系统资源占用和网络占用

5、标准客户端设计,无需在业务主机安装任何客户端,让业务主机专注应用

6、可扩展副本保护,增加关键数据的可用性

7、高密度设备,采用4U/24bay设备,有效降低空间和能耗,合理控制成本

8、系统无单点故障,数据高可用,存储服务不停机

9、系统支持数据分层,未来可增加SSD或SAS,按数据热点实现自动分级存储

方案优势
  • 软件定义存储、弹性的可扩展存储架构

    PL-XDFS采用完全去中心化的的分布式文件存储架构,无独立元数据服务器设计,消除元数据信息交互瓶颈;Scale-out动态扩展,快速在线增删节点,最高可实现1024个节点集群,可管理近100PB的海量数据。

  • 卓越的性能

    PL-XDFS提供分布式的文件读写和共享服务,本次配置的5节点集群可实现3GB的性能,可管理海量文件,未来可通过集群扩展,实现100GB的带宽;支持万兆网卡及Infiniband网络,通过RDMA优化并发读写性能。并可通过SSD实现数据分层或小文件性能优化。

  • 极高的可靠性与可用性

    PL-XDFS提供副本和纠删码两种数据/集群保护模式,节点内部还可选RAID保护,用户可根据应用类型、数据重要性、性能、成本平衡选择配置模式,实现数据高可用保护和存储服务高可用保护。XDFS可实现不停机的在线扩展,大大缩减或消除计划内的停机时间。