ZTE大数据管理框架简介

传统意义上数据管理，是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的在于充分有效地发挥数据的作用。对关系型数据库而言，因为处理数据的规模较小、结构化单一，数据库本身已经具备其基本的管理能力。

从传统的数据管理演进到大数据时代的数据管理，看似只是一个简单的技术演进， 但细考究不难发现两者有着本质上的差别。大数据时代，一个管理性平台框架不但要包括传统意义的数据管理功能，还需要包含诸多复杂的开源组件，尤其是开源大数据组件的集成，因此在大数据时代，集群自动化安装部署、中心化管理、集群监控、集群告警、集群安全等也提到日程上来。

大数据的出现必将颠覆传统的数据管理方式：大数据时代不仅要提供系统化的基础环境管理能力，而且在自动化运维、可视化管理方面也是一个大的挑战。从运维的角度来说，传统的数据管理运维工作通常面对几十或者上百台的服务器，规模不会太大，而且因为应用相对简单，所以每台服务器都是一个独立的节点，很少需要关注不同节点之间的资源调度等问题。而在大数据时代基于分布式部署的大规模集群中，数据管理运维则完全不同：首先是规模上面对将是成百上千的节点，量上有了极大的提升，其次在分布式部署中基础资源（存储、CPU、内存、网络等）的调度、调优、监控都将是重中之重，而这些都需要非常完善的可视化化管理，最后，大数据的数据管理还要考虑数据的导入、查询、分析、导出、存储、计算等数据仓库相关的技术支持。

根据大数据平台以及基于该平台的大数据产品（即被管理对象）的情况，我们将管理功能也分为几类（见上图），分别为公共管理组件、基础设施管理组件、大数据集群管理组件和版本管理组件：

• 公共管理组件：包含安全，日志，license管理，拓扑，告警，性能和管理系统自身的安装升级是必选功能组件；

• 基础设施管理组件：主要进行IT设备管理,并利用公共管理组件的告警，性能，拓扑进行展示；

• 大数据集群管理组件：主要负责大数据组件的分发,服务调度和集群监控；

• 版本管理组件：主要负责业务版本的分发，升级，进程调度，备份恢复；

目前业界，无论开源社区提供的版本能力还是各厂商自研的管理系统，基本上都是围绕以上功能范围进行拓展。

中兴通讯DAP大数据平台基于Hadoop分布式技术，采用功能可裁剪的组件化设计，结合中兴通讯在大数据项目实践过程中总结出的丰富经验，整合了海量数据的采集、存储、管理、分析、查询、展现功能，并以平台为基础提供贴合各类行业应用的全面解决方案，帮助各类行业客户挖掘、实现大数据价值，同时提供持续的、贴心的咨询服务和定制开发，保障企业长期发展。

DAP产品软件架构如下图：

DAP Manager提供统一管理方案，管理层次涵盖软硬件基础设施、各类数据、大数据集群、各类功能组件以及各业务系统。管理功能包括安装、升级、监控、日志、License等等，通过统一管理可有效提高运维管理效率，确保系统的快速上线、运维。平台统一管理方案在第四届大数据世界论坛中荣获“最佳数据管理方案奖”。

从上面的DAP-Manager软件框架图可以看出，除了基础的管理和维护能力，DAP Manger主要有以下新增特点：

• 通过标准化的接口支持对第三方大数据平台产品（异构系统的集成）的接入管理能力；

• 插件化研发模式，支持用户按需部署自己需要的模块；

• 巡检框架的引入，排障、维护的自动化、智能化；

• 除大数据组件外的，还支持对IT设备的管理能力；

• 支持标准的北向SNMP、FTP接口。

从DAP-Manager的功能介绍（上图）可以看到，ZTE自研开发的大数据管理系统具备了目前大数据运维所需要的全面管理功能：包括自动化安装部署、安全管理、全方位的监控、告警、日志管理、多纬度巡检，以及专业的在线帮助。