vlambda博客
学习文章列表

话说“数据仓库”与“数据中台”

文章来源:大数据创想未来


话说“数据仓库”与“数据中台”


话说“数据仓库”与“数据中台”

大数据时代来临,大数据仓库在新时代下仍然是“数据仓库”,不同的是版本升级了,技术进化了,大数据平台上的“数据中台”就是这个数据仓库的升级版。

无论是“传统数据仓库”还是“数据中台”,都是要先建立一个仓库并进行相应配套,把数据引进来,加工处理后,再把数据用起来。体系架构可分为:数据采集层、数据仓库层、数据服务层三大层次,或再根据需要进一步细分(这里不再叙述),通过这三大层次,对上层数据应用提供强有力的数据支撑。

不同的是,数据中台数据来源更宽,目标更大,应用更广。就好像我们曾经常用老式手机,而目前都流行智能手机一样。

|数据来源

传统数据仓库,数据基本是结构化数据,来源主要是各种关系型数据库(oracle,mysql,sybase,db2),而数据中台的数据来源期望是全域数据,包括业务数据库,日志数据,埋点数据,爬虫数据,外部数据等,数据类型可以是结构化数据或者非结构化的数据。好比我们老式手机,数据主要就是语音彩信,而智能手机数据除了语音更多来源于网络。

|建库目标

传统数据仓库建库主要目标是进行部分数据的分析统计,最多做下预警,进行趋势分析。

而数据中台融合整个企业的全部数据,统一口径,打通隔阂。数据中台通常会对来自全域基础数据进行转换、清洗、计算、挖掘,并生成更为丰富的主题。

数据中台遵循 One Data, One ID, One Service,就是说数据中台不仅仅是汇聚企业各种数据,而且让这些数据遵循相同的标准和口径,让事物能统一或者相互关联起来,并且提供统一的数据服务接口。

|数据应用

建立在数据中台上的数据应用不仅只是面向于报表,更多面向营销推荐,用户画像,AI决策分析,风险评估,通过数据挖掘产生新业务等。而且这些应用的特点是比较轻,容易快速开发出来,因为重要的数据分析在数据中台已经完成并且沉淀,之前工作成果都能被多个应用轻松共享。

|数据存储计算

数据中台是建立在分布式存储和分布式计算基础上,理论上可以无限扩容。而多数的传统数仓工具都是建立的单机或集群的基础上,一旦数据量变大,扩容受限,并且成本高昂。

数据中台是一套系统,是一个职能部门,是一个数据的生产中心,通过一系列平台、工具、流程、规范来为整个组织提供数据资产管理和服务。数据中台负责全域数据采集、数据资产加工和管理、并通过中台向前台提供数据服务的,所以数据中台的核心应该是数据资产管理和数据赋能,让数据真正产生价值,成为企业的利润中心,而不少成本中心。


声明 | 部分图片来源网络,版权归原作者所有

◎ 如有侵权,请告知删除


• end • 


话说“数据仓库”与“数据中台”