‍‍

• 在 DataStream API 上添加了高效的批执行模式的支持。这是批处理和流处理实现真正统一的运行时的一个重要里程碑。
• 实现了基于Kubernetes的高可用性（HA）方案，作为生产环境中，ZooKeeper方案之外的另外一种选择。
• 扩展了 Kafka SQL connector，使其可以在 upsert 模式下工作，并且支持在 SQL DDL 中处理 connector 的 metadata。现在，时态表 Join 可以完全用 SQL 来表示，不再依赖于 Table API 了。
• PyFlink 中添加了对于 DataStream API 的支持，将 PyFlink 扩展到了更复杂的场景，比如需要对状态或者定时器 timer 进行细粒度控制的场景。除此之外，现在原生支持将 PyFlink 作业部署到 Kubernetes上。

Flink 1.12 官方文档：
https://ci.apache.org/projects/flink/flink-docs-release-1.12/

DataStream API 支持批执行模式

• 可复用性：作业可以在流和批这两种执行模式之间自由地切换，而无需重写任何代码。因此，用户可以复用同一个作业，来处理实时数据和历史数据。
• 维护简单 ：统一的 API 意味着流和批可以共用同一组 connector，维护同一套代码，并能够轻松地实现流批混合执行，例如 backfilling 之类的场景。

$ bin/flink run -Dexecution.runtime-mode=BATCH examples/streaming/WordCount.jar

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setRuntimeMode(RuntimeMode.BATCH);

注意： 尽管 DataSet API 尚未被弃用，但我们建议用户优先使用具有 BATCH 执行模式的 DataStream API 来开发新的批作业，并考虑迁移现有的 DataSet 作业。

新的 Data Sink API (Beta)

基于 Kubernetes 的高可用 (HA) 方案

注意： 需要注意的是，这并不意味着 ZooKeeper 将被删除，这只是为 Kubernetes 上的 Flink 用户提供了另外一种选择。

其它功能改进

■ 将现有的 connector 迁移到新的 Data Source API

注意: 新的 source 实现，是完全不同的实现，与旧版本的实现不兼容。

■ Pipelined Region 调度 (FLIP-119)

■ 支持 Sort-Merge Shuffle (FLIP-148)

注意： 该功能是实验性的，在 Flink 1.12 中默认情况下不启用。要启用 sort-merge shuffle，需要在 TaskManager 的网络配置[6]中设置合理的最小并行度。

■ Flink WebUI 的改进 (FLIP-75)

Table API/SQL: SQL Connectors 中的 Metadata 处理

CREATE TABLE kafka_table ( id BIGINT, name STRING, event_time TIMESTAMP(3) METADATA FROM 'timestamp', -- access Kafka 'timestamp' metadata headers MAP<STRING, BYTES> METADATA -- access Kafka 'headers' metadata) WITH ( 'connector' = 'kafka', 'topic' = 'test-topic',  'format' = 'avro');

Table API/SQL: Upsert Kafka Connector

Table API/SQL: SQL 中 支持 Temporal Table Join

CREATE TABLE orders ( order_id STRING, currency STRING, amount INT,  order_time TIMESTAMP(3),  WATERMARK FOR order_time AS order_time - INTERVAL '30' SECOND) WITH ( …);
-- Table backed by a Kafka compacted topicCREATE TABLE latest_rates (  currency STRING, rate DECIMAL(38, 10), currency_time TIMESTAMP(3), WATERMARK FOR currency_time AS currency_time - INTERVAL ‘5’ SECOND, PRIMARY KEY (currency) NOT ENFORCED ) WITH ( 'connector' = 'upsert-kafka', …);
-- Event-time temporal table joinSELECT  o.order_id, o.order_time, o.amount * r.rate AS amount, r.currencyFROM orders AS o, latest_rates FOR SYSTEM_TIME AS OF o.order_time rON o.currency = r.currency;

Table API/SQL 中的其它改进

■ Kinesis Flink SQL Connector (FLINK-18858)

■ 在 FileSystem/Hive connector 的流式写入中支持小文件合并 (FLINK-19345)

■ Kafka Connector 支持 Watermark 下推 (FLINK-20041)

■ 利用 Multi-input 算子进行 Join 优化 (FLINK-19621)

■ Type Inference for Table API UDAFs (FLIP-65)

PyFlink: Python DataStream API

from pyflink.common.typeinfo import Typesfrom pyflink.datastream import MapFunction, StreamExecutionEnvironmentclass MyMapFunction(MapFunction): def map(self, value): return value + 1env = StreamExecutionEnvironment.get_execution_environment()data_stream = env.from_collection([1, 2, 3, 4, 5], type_info=Types.INT())mapped_stream = data_stream.map(MyMapFunction(), output_type=Types.INT())mapped_stream.print()env.execute("datastream job")

PyFlink 中的其它改进

■ PyFlink Jobs on Kubernetes (FLINK-17480)

■ 用户自定义聚合函数 (UDAFs)

注意: 普通 Python UDAF，当前仅支持在 group aggregations 以及流模式下使用。如果需要在批模式或者窗口聚合中使用，建议使用 Pandas UDAF。

• [FLINK-19319] The default stream time characteristic has been changed to EventTime, so you no longer need to call StreamExecutionEnvironment.setStreamTimeCharacteristic() to enable event time support.

• [FLINK-19278] Flink now relies on Scala Macros 2.1.1, so Scala versions < 2.11.11 are no longer supported.
• [FLINK-19152] The Kafka 0.10.x and 0.11.x connectors have been removed with this release. If you’re still using these versions, please refer to the documentation[16] to learn how to upgrade to the universal Kafka connector.
• [FLINK-18795] The HBase connector has been upgraded to the last stable version (2.2.3).
• [FLINK-17877] PyFlink now supports Python 3.8.
• [FLINK-18738] To align with FLIP-53, managed memory is now the default also for Python workers. The configurations python.fn-execution.buffer.memory.size and python.fn-execution.framework.memory.size have been removed and will not take effect anymore.

原文链接：

https://flink.apache.org/news/2020/12/10/release-1.12.0.html

  Flink Forward Asia 2020