vlambda博客
学习文章列表

热文:如何搭建一个数据仓库

分享数据大咖实践经验 网罗职场大佬成长秘籍

来源:大数据架构师


有朋友私信我,说希望了解数仓的整体建设中的细节及模板。那有啥说的,上干货!


热文:如何搭建一个数据仓库

数仓全景图镇楼 

00

建设过程

热文:如何搭建一个数据仓库

数仓建模的过程分为业务建模、领域建模、逻辑建模和物理建模,但是这  些步骤比较抽象。为了便于落地,我根据自己的经验,总结出上面的七个步骤:梳理业务流程、垂直切分、指标体系梳理、实体关系调研、维度梳理、数仓分层以及物理模型建立。每个步骤不说理论,直接放工具、模板和案例。

01

业务流程



1

找到公司核心业务流程,找到谁,在什么环节,做什么关键动作,得到什么结果。

热文:如何搭建一个数据仓库




2

梳理每个业务节点的客户及关注重点,找到数据在哪。

热文:如何搭建一个数据仓库



02

分域/主题



3

决定数仓的建设方式,快速交活,就用自下而上的建设。要全面支撑,就顶层规划,分步实施,交活稍微慢点。

热文:如何搭建一个数据仓库




4

同时按照业务领域划分主题域。主题域的划分方法有:按业务流划分(推荐)、按需求分、按职责分、按产品功能分等。

热文:如何搭建一个数据仓库



03

指标体系



5

指标的意义在于统一语言,统一口径。所以指标的定义必须有严格的标准。否则如无根之水。

热文:如何搭建一个数据仓库

指标可分为原子指标、派生指标和衍生指标,其含义及命名规则举例如下:

热文:如何搭建一个数据仓库




6

依照指标体系建设标准,开始梳理指标体系。整个体系同样要以业务为核心进行梳理。同时梳理每个业务过程所需的维度。维度就是你观察这个业务的角度,指标就是衡量这个业务结果 坏的量化结果。热文:如何搭建一个数据仓库

请注意,此时不能被现有数据局限。如果分析出这个业务过程应该有这个指标,但是没有数据,请标注出来,提出收集数据的需求。


04

实体关系



7

每个业务动作都会有数据产生。我们将能够获取到的数据,提取实体,绘制ER图,便于之后的维度建模。

热文:如何搭建一个数据仓库




8

同样以业务过程为起点向下梳理,此时的核心是业务表。把每张表中涉及的维度、指标都整理出来。

热文:如何搭建一个数据仓库


05

维度整理



9

维度标准化是将各个业务系统中相同的维度进行统一的过程。其字段名称、代码、名字都可能不一样,我们需要完全掌握,并标准化。

热文:如何搭建一个数据仓库

维度的标准尽可能参照国家标准、行业标准。例如地区可以参照国家行政区域代码。

另外,有些维度存在层级,如区域的省、市、县。绝大多数业务系统中的级联就是多层级维度。



06

数仓分层


10

数据仓库一般分为4层,名字可能会不一样,但是其目的和建设方法基本一致:

热文:如何搭建一个数据仓库

每一层采用的建模方法都不一样,其核心是逐层解耦。越到底层,越接近业务发生的记录,越到上层,越接近业务目标。



11

依托数仓分层的设计理论,根据实际业务场景,我们就可以梳理出整体的数据流向图。这张图会很清晰的告诉所有人,数据从那来,到哪里去,最终提供什么样的服务。

热文:如何搭建一个数据仓库



07

模型建立



12

此时才真正进入纯代码阶段。数仓、ETL工具选型;ETL流程开发;cube的建立;任务调度,设定更新方式、更新频率;每日查看日志、监控etl执行情况等等。

热文:如何搭建一个数据仓库

前面梳理清楚了,ETL会变的非常清晰

热文:如何搭建一个数据仓库

私货

1、数仓建设必须从业务中来,到业务中去;

2、数仓分层的目的是业务解耦;

3、无论哪种建模方式,其核心是业务实体;

4、按领域建设能快速交活,后遗症将会在2年之后爆发,且难以解决;

5、数仓建设应该把75%的时间投入到设计阶段,如果不是,那你就惨了;

6、数仓本身也可以迭代。

7、传统数仓并没有一种叫做“宽表模型”的模型,大数据时代新诞生的名词,因为很多大数据组件join代价极高。实际上是范式退化。





     精  彩  推  荐  

热文:如何搭建一个数据仓库
ACP认证优惠券

热文:如何搭建一个数据仓库

星球优惠券

热文:如何搭建一个数据仓库


阿里云产品优惠码

数牛会即数据从业者社群,链接大咖,分享实践。特设数字企业家(DT创始人/传统企业家)首席数据官(CDO/CIO/CGO/COO)、数据精英综合群数据中台与数据治理(DW与BI)数据产品经理数据科学家(数据分析师/数据工程师/机器学习)阿里云ACP认证万年薪职场进阶群文末扫码入群,请备注姓名/公司/职位。 

168大数据国内领先的数据智能技术社群媒体

数百万首席数据官、数据科学家的梦想栖息地!

最具价值的数据知识 研究报告 架构实践 职场秘籍

打造权威的数据知识体系与职场成长平台!

我是首席数据官,我在这,你呢?


在看评论转发,利他就是利己