vlambda博客
学习文章列表

快手基于Apache Flink的持续优化实践


分享嘉宾:董亭亭 快手

编辑整理:猫哥

出品平台:大数据猫



导读: 最近忙着天天晚上做梦都是干活,百忙之中也是抽空过来看看Flink一年一度的分享大会。整体看了一下,本次分享偏向于平台化支持,由于快手需要支持春晚和商业化,他们需要面临几个问题,
我重点梳理了一下。 晚和快手商业化广告需要实时流高稳定:
  • 上游kafka双集群,双topic,如果上有一个topic故障了,如何让flink快速切换,快手做了source接入端的代码升级,二次开发,同时也在sink端做了二次开发

  • 故障动态感知,从分钟级降低到秒级

  • flink启动优化

  • flink的sql倾斜问题,udf函数复用


快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践

快手基于Apache Flink的持续优化实践