1. 核心引擎部分引入了非对齐的 Checkpoint 机制。这一机制是对 Flink 容错机制的一个重要改进，它可以提高严重反压作业的 Checkpoint 速度。
2. 实现了一套新的 Source 接口 。通过统一流和批作业 Source 的运行机制，提供常用的内部实现如事件时间处理，watermark 生成和空闲并发检测，这套新的 Source 接口可以极大的降低实现新的 Source 时的开发复杂度。
3. Flink SQL 引入了对 CDC （Change Data Capture，变动数据捕获）的支持，它使 Flink 可以方便的通过像 Debezium 这类工具来翻译和消费数据库的变动日志。Table API 和 SQL 也扩展了文件系统连接器对更多用户场景和格式的支持，从而可以支持将流式数据从 Kafka 写入 Hive 等场景。
4. PyFlink 优化了多个部分的性能 ，包括对向量化的用户自定义函数（Python UDF）的支持。这些改动使 Flink Python 接口可以与常用的 Python 库（如 Pandas 和 NumPy）进行互操作，从而使 Flink 更适合数据处理与机器学习的场景。

非对齐的 Checkpoints（Beta 版本）

1. Checkpoint Barrier 在有反压的输入通道中传播的速度非常慢（需要等待前面的数据处理完成），这将会阻塞对其它输入通道的数据处理并最终进一步反压上游的算子。
2. Checkpoint Barrier 传播慢还会导致 Checkpoint 时间过长甚至超时，在最坏的情况下，这可能导致整个作业进度无法更新。

注意： 开启这一特征需要通过 Chekpoint 选项配置 enableUnalignedCheckpoints 参数。需要注意的是，非对齐的 Checkpoint 只有在 CheckpointMode 被设置为 CheckpointMode.EXACTLY_ONCE 的时候才有效。

统一的 Watermark 生成器

■ 支持 Watermark 空闲检测

注意：这一 FLIP 的修改目前不会影响现有程序，但是我们推荐用户后续尽量使用新的 Watermark 生成接口，避免后续版本禁用之前的 Watermark 生成器带来的影响。  

新的 Source 接口（Beta）

■ 流批统一

■ 内置的 Watermark 和事务时间处理

注意：现有的 Source 连接器尚未基于新的 Source 接口重新实现，这将在后续版本中逐渐完成。如果想要基于新的 Source 接口实现自己的 Source，可以参考 Data Source 文档和 Source 开发的一些建议。

Application 部署模式

其它功能修改

■ 统一 JM 的内存配置（FLIP-116）

注意：复用之前的 Flink 配置将会得到不同的 JVM 参数，从而可能影响性能甚至导致异常。如果想要更新到 1.11 的话，请一定要参考迁移文档。  

■ Web UI 功能增强

■ 统一 Docker 镜像

Table API/SQL：支持 CDC（Change Data Capture）

 CREATE TABLE my_table ( ...) WITH ( 'connector'='...', -- e.g. 'kafka' 'format'='debezium-json', 'debezium-json.schema-include'='true' -- default: false (Debezium can be configured to include or exclude the message schema) 'debezium-json.ignore-parse-errors'='true' -- default: false);

注意： 目前有一个已知的 BUG（FLINK-18461）会导致使用修改日志的 Source 无法写入到 Upsert Sink 中（例如，MySQL，HBase，ElasticSearch）。这个问题会在下一个版本（即 1.11.1）中修复。

Table API/SQL：支持 JDBC Catalog 和 Postgres Catalog

Table API/SQL：支持 Avro，ORC 和 Parquet 格式的文件系统连接器

这也意味着 Table API/SQL 的用户可以使用 StreamingFileSink 现在已经支持的文件格式，例如 （Avro） Parquet，以及在这1.11中新增加的文件格式，例如 Avro 和 ORC。

CREATE TABLE my_table ( column_name1 INT, column_name2 STRING, ... part_name1 INT, part_name2 STRING) PARTITIONED BY (part_name1, part_name2) WITH ( 'connector' = 'filesystem',  'path' = 'file:///path/to/file, 'format' = '...', -- supported formats: Avro, ORC, Parquet, CSV, JSON  ...);

Table API/SQL：支持 Python UDF

其它的 Table API/SQL 优化

■ Hive Connect 兼容 Hive DDL 和 DML（FLIP-123）

■ Flink SQL 语法的扩展和优化

• Flink 1.11 引入了主键约束的概念，从而可以在 Flink SQL DDL 的运行时优化中使用（FLIP-87）。
• 视图对象已经在 SQL DDL 中完整支持，可以通过 CREATE/ALTER/DROP VIEW 等语句使用（FLIP-71）。
• 用户可以在 DQL 和 DML 中使用动态表属性动态指定或覆盖 Table 的选项（FLIP-113）。
• 为了简化 connector 参数的配置，提高异常处理的能力，Table API/SQL 修改了一些配置项的名称（FLIP-122）。这一改动不会破坏兼容性，用户仍然可以使用老的名称。

■ 新的 Table Source 和 Sink 接口（FLIP-95）

注意：尽管这一修改不会破坏兼容性，但是我们推荐 Table API/SQL 的用户尽快将现有的Source和Sink升级到新的接口上。

■ 重构 Table Env 接口（FLIP-84）

注意：在 FLIP-84 中被标记为过期的方法不会被立刻删掉，但是我们建议用户采用新的方法。对于新的方法和过期方法的完整列表，可以查看 FLIP-84 的总结部分。

■ 新的类型推断和 Table API UDF（FLIP-65）

PyFlink：支持 Pandas UDF

1. 在 JVM 和 Python 进程之间传递数据会导致较大序列化、反序列化开销。
2. 难以集成常用的高性能 Python 数值计算框架，例如 Pandas 和 NumPy。

@udf(input_types=[DataTypes.BIGINT(),DataTypes.BIGINT()],result_type=DataTypes.BIGINT(),udf_type="pandas")defadd(i,j):  returni+j

PyFlink 的其它优化

■ 支持转换器 fromPandas/toPandas（FLIP-120）

■ 支持用户自定义的 Table Function（User-defined Table Function,UDTF）（FLINK-14500）

■ 基于 Cython 对 UDF 的性能进行优化（FLIP-121）

Cython 是一个 Python 语言预编译的超集，它经常被用来提高大规模数据计算函数的性能，因为它可以将代码执行速度优化到机器指令级别，并且可以很好的与常用的基于 C 语言实现的库配合，例如 NumPy。从 Flink 1.11 开始，用户可以构造包括 Cython支持的 PyFlink[60]并且可以通过 Cython 来优化 Python UDF。这种优化可以极大的提升代码的性能（与 1.10 的 Python UDF 相比最高能有 30 倍的提升）。

■ Python UDF 支持用户自定义的 Metrics（FLIP-112）

• [FLINK-17339] 从1.11开始，Blink Planner 将变为 Table API/SQL 的默认 Planner。实际上，在1.10中 SQL Client 的默认 Planner 已经变为 Blink Planner。老的 Planner 仍然将会支持，但是后续不会再有大的变更。
• [FLINK-5763] Savepoints 将所有的状态写入到单个目录下（包括元数据和程序状态）。这使得用户可以容易的看出每个 Savepoint 的 State 包含哪些文件，并且允许用户直接通过移动目录来实现 Savepoint 的重定位。
• [FLINK-16408] 为了减少 JVM 元数据空间的压力，Flink 1.11 中对于单个 TaskExecutor 只要上面还有某个作业的 Slot，该作业的 ClassLoader 就会被复用。这一改动会改变 Flink 错误恢复的行为，因为 static 字段不会被重新初始化。
• [F LINK-11086] Flink 现在可以支持 Hadoop 3.0.0 以上的版本。注意 Flink 项目并未提供任何更新的“flink-shaded-hadoop-*”的 jar 包，而是需要用户自己将相应的 Hadoop 依赖加入 HADOOP_CLASSPATH 环境变量（推荐的方式）或者将 Hadoop 依赖加入到 lib/目录下。
• [FLINK-16963] 所有 Flink 内置的 Metric Report 现在被修改为 Flink 的插件。如果要使用它们，不应该放置到 lib/目录下（会导致类冲突），而是要放置到 plugins/目录下。
• [FLINK-12639] 社区正在对 Flink 文档进行重构，从1.11开始，您可能会注意到文档的导航和内容组织发生了一些变化。

“我才刚看到，名额就没了”

“我太想参加了，还能补报吗？”

• 详情了解：

• 报名截止：2020 年 7 月 12 日 18：00
• 报名方式： 后台回复关键字 「 训练营 」即可抢报

酷炫周边抢先看

关注 Flink 中文社区，获取更多技术干货