vlambda博客
学习文章列表

剑指大数据

Flink学习精要（Java版）

对于一家互联网企业，什么是最核心的资产？是产品、用户、运营，还是技术？

其实，在如今日臻成熟的互联网环境下，这些都已不再是最核心的竞争力了。以我们最熟悉的电商企业为例，平台产品的设计、网站的搭建、技术的选型、运营的手段都已经有一整套成熟的方案。我们甚至只需在GitHub上下载一套代码，就可以搭建自己的电商网站。那么，对于一个电商企业，其核心竞争力在哪里呢？

难道只有加大开销、进行特价营销了吗？当然不是。其实，比用户更重要的资产是数据。

用户可能会快速流动，但所有用户在网站上的行为都可以作为数据被记录并收集起来，用来进行统计分析。以往很多用户行为数据是不被重视的，而现在越来越多的企业发现数据是一个巨大的宝藏。数据会说话，它可以告诉我们平台的状态、用户的组成、用户的习惯和喜好，把更深层的信息展现在我们面前，让企业的策略更加合理。

如今，数据的价值被不断地发掘，大数据分析已经成为互联网企业的标配，很多企业已经不仅仅用它来做平台统计了，还将它作为精准营销、个性化服务的切入点。

大数据处理一般可以分为离线处理和实时处理两种方式，处理引擎在架构上会有本质的不同。如今，大数据技术的应用场景对实时性的要求越来越高，而Flink作为新一代开源大数据流处理引擎，有着良好的实时性和容错性，在近些年引起了业内极大的兴趣和关注。Flink在实时分析领域的优势使得越来越多的企业开始将大数据实时项目向Flink迁移，其社区也在快速发展壮大。随着阿里巴巴内部版本Blink的开源且并入Flink 1.9版本，Flink对离线批处理功能的支持也更加全面，一跃成为如今最火爆的大数据处理框架之一。对于大数据处理，Flink毫无疑问是其中的一门必修课。