vlambda博客
学习文章列表

以《数据仓库工具箱》书的角度,区分两套分层理论!

个人做过数仓项目数仓分层理论并不相同。本人现在进行区别总结!!!



0 1

ODS-DW(DWD-DWS)-ADS







ODS(Operation Data Store 原始数据层),存放原始的数据。直接加载原始数据,原始的日志,数据保持原貌不做处理

DW:英文名Data WareHouse 中文名数据仓库

DWD(data warehouse detail 明细数据层) 结构与粒度和ods层相同,对ODS中的数据进行清洗(去null值,脏数据,超过极限范围的值)、

DWS(data warehouse service 服务数据层)  以DWD为基础进行轻度汇总 ,一版聚集到以用户当日、商家当日、设备当日、商品当日等等的粒度


ADS(Application Data Store 数据应用层),为报表提供数据。也有的地方叫做app层、DM层等等


0 2

ODS-DW(DWD-DWS-DWT)-ADS




ODS(Operation Data Store 原始数据层) ODS:原始数据层,存放原始数据,直接加载原始日志,数据,数据保持原貌不做处理

DWD(data warehouse detail 明细数据层)DWD层:对ODS层数据进行清洗(去除null值,脏数据,超过极限范围的数据)、维度退化 、脱敏等

DWS(data warehouse service 服务数据层) 以DWD为基础,按天进行轻度汇总

DWT(data warehouse Topic)一DWS为基础,按主题进行汇总

ADS(Application Data Store 数据应用层)ADS层,为各种统计报表提供数据。


此套分层理论基于一本书:

以《数据仓库工具箱》书的角度,区分两套分层理论!

下面是抽取几页关键内容

以《数据仓库工具箱》书的角度,区分两套分层理论!