vlambda博客
学习文章列表

历经二载,数据仓库云化升级开新路;十年经分,加工提速改天换地创新篇。

新一代经营分析系统面向公司全业务经营,指标2万+个,每日数据处理量17T,每月数据处理量990T,一方面处理数据量快速增长,另一方面需要经分日报、月报提早发布,高效支撑公司各层级各专业经营决策。


数据中心自2018年起启动新经分云化技术架构升级,试点国产化大数据平台、数据仓库,培养自主研发团队,推进自主可控与自主创新,预见性地解决因业务规模及范围急速扩张,系统生产能力不足的问题,实现了数据仓库全云化、经营分析日月报发布提速,充分体现了数据中心战略上的远见卓识。


云化技术架构升级工作历程

历经二载,数据仓库云化升级开新路;十年经分,加工提速改天换地创新篇。

日月报数据发布提速成效

本次云化架构升级,并非简单将生产过程由Oracle体系迁移至新建Hadoop体系,建设过程包括全仓库的业务流程梳理,按照预设目标完成接口数据采集,结合Hadoop集群特性迁移、优化各流程涉及的加工作业,集群间数据同步,通过跨平台ETL作业统一调度和监控,以及BDI、数据质量稽核平台等配套升级,涉及数据中心3个处室7个团队的配合


集群规模430个节点,日作业量1.5万+,月作业量4.4万+面对如此复杂的工程,依然保证新老环境极低的差异率,费用、流量等指标级精确万分之一以下,用户数单省差异指标级精确千分之一以下,数据稽核全部通过。

本次月报云化迁移重点工作


项目组克服硬件到货晚、机房机位紧张、疫情影响等困难,科学组织、精心计划、激情工作、夯实基础、不断优化,时间紧、任务重、困难多,砥砺前行,不忘初心,披星戴月保进度、通宵达旦保生产。数据中心领导、同事上下同心,各团队紧密协作,月报云化迁移经过4个账期并行的充分准备,于7月底顺利割接上线,充分体现了数据中心的高效协同与战斗力。


随着cBSS100%迁转,新经分云化架构持续优化,新经分日月报将进一步提速。放眼未来长远发展,紧跟时代前沿技术,新一代经分系统与时俱进,助力公司数字化转型。