vlambda博客
学习文章列表

Alluxio系列Meetup——Spark+Alluxio:面向K8s的数据本地性优化与中国联通大数据系统案例分析





2020/05/23  20:00 - 21:00

活动形式




研讨会直播

活动内容









Talk I: Alluxio在中国联通的实践

联通传统的批处理架构主要由IOE、Hive、及Greenplum等系统组成。随着业务发展,基于多样化场景的、烟囱式的、分散的计算应用模块大量涌现。为了解决资源碎片化问题,我们引入了以Spark与Alluxio为核心的计算生态构建统一计算平台。Alluxio在其中扮演着加速数据处理、保障过程稳定的重要角色。

讲师介绍:

张策,2017年5月进入联通软件研究院Spark项目组实习,2018年7月从北京交通大学毕业,并正式加入软研院。目前担任大数据研发工程师,负责Spark、Flink、Alluxio等相关系统的运营、优化工作。

Talk II : Spark + Alluxio在K8s平台上的数据本地性

Alluxio用缓存的方式,将数据带到计算端,通过更好的数据本地性提升计算效率。随着更多人将服务迁移到云端的容器中并使用K8s来进行容器编排,新的技术、框架和设计理念也给数据本地性带来了新的挑战。Alluxio针对用户在K8s上的不同使用场景,提供了不同的数据本地化解决方案。这个分享将从Spark+Alluxio在非K8s环境下如何实现数据本地性出发,深入介绍Spark+Alluxio如何在K8s环境下实现同样的数据本地性,最后介绍针对不同使用场景的两种解决方案。

讲师介绍

刘嘉承,2017年哥伦比亚大学计算机科学硕士毕业。2019年加入Alluxio开发团队,主要负责Alluxio和云场景相关的开发工作。
报名链接,请点击文末阅读原文