vlambda博客
学习文章列表

数据湖、数据仓库、数据中台

数据湖、数据仓库和数据中台,他们并没有直接的关系,只是他们为业务产生价值的形式有不同的侧重。

数据湖


数据湖作为一个集中的存储库,可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中,可存储数据不需要对其进行结构化,就可以运行不同类型的分析。

数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库,其中数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。来源:维基百科。数据湖、数据仓库、数据中台

数据湖能从以下方面帮助到企业:

  • 实现数据治理(data governance)。

  • 通过应用机器学习与人工智能技术实现商业智能。

  • 预测分析,如领域特定的推荐引擎。

  • 信息追踪与一致性保障。

  • 根据对历史的分析生成新的数据维度。

  • 有一个集中式的能存储所有企业数据的数据中心,有利于实现一个针对数据传输优化的数据服务。

  • 帮助组织或企业做出更多灵活的关于企业增长的决策。

数据仓库


数据仓库,也称为企业数据仓库,是一种数据存储系统,它将来自不同来源的结构化数据聚合起来,用于业务智能领域的比较和分析,数据仓库是包含多种数据的存储库,并且是高度建模的。

数据湖、数据仓库、数据中台

数据中台


数据中台是一个承接技术,引领业务,构建规范定义的、全域可连接萃取的、智慧的数据处理平台,建设目标是为了高效满足前台数据分析和应用的需求。数据中台距离业务更近,能更快速的相应业务和应用开发的需求,可追溯,更精准。

台战略核心是数据服务的共享。中台战略并不是搭建一个数据平台,但是中台的大部分服务都是围绕数据而生,数据中台是围绕向上层应用提供数据服务构建的,中台战略让数据在数据平台和业务系统之间形成了一个良性的闭环,也就是实现应用与数据之间解藕,并实现紧密交互。

  • 敏捷前台:一线作战单元,强调敏捷交互及稳定交付的组织能力建设。

  • 业务中台:能力固化与赋能,固化通用能力,赋能前线部队,提升配置效率,加快前线响应,产品化业务化,开辟全新生态。

  • 数据中台:资产整合与共享,整合多维数据,统一资产管理,连通数据孤岛,共享数据资源,深入挖掘数据,盘活资产价值。

  • 稳定后台:以共享中心建设为核心,为前中台提供专业的内部服务支撑。

数据湖、数据仓库更多地是面向不同对象的不同形态的数据资产。而数据中台更多强调的是服务于前台,实现逻辑、标签、算法、模型的复用沉淀。

数据中台是指通过企业内外部多源异构的数据采集、治理、建模、分析,应用,使数据对内优化管理提高业务,对外可以数据合作价值释放,成为企业数据资产管理中枢。数据中台建立后,会形成数据API,为企业和客户提供高效各种数据服务。

数据中台整体技术架构上采用云计算架构模式,将数据资源、计算资源、存储资源充分云化,并通过多租户技术进行资源打包整合,并进行开放,为用户提供“一站式”数据服务。

利用大数据技术,对海量数据进行统一采集、计算、存储,并使用统一的数据规范进行管理,将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,提供一致的、高可用大  数据服务。

数据中台不是一套软件,也不是一个信息系统,而是一系列数据组件的集合,企业基于自身的信息化建设基础、数据基础以及业务特点对数据中台的能力进行定义,基于能力定义利用数据组件搭建自己的数据中台。

数据中台像一个“数据工厂”,涵盖了数据湖、数据仓库等存储组件,随着数据中台的发展,未来很有可能数据湖和数据仓库的概念会被弱化。

小 结


数据空间持续增长,为了更好地发挥数据价值,未来数据技术趋于融合,同时也在不断创新。数据仓库、数据湖、数据中台等内涵作了详细说明,便于读者更好的理解和掌握数据领域相关概念

数据中台更好的支撑数据预测分析、跨领域分析、主动分析、实时分析、多元化结构化数据分析,数据中台建设是我们企业数据服务和共享奠定重要的基础,可以加速从数据到价值的过程,打造相应业务能力。