vlambda博客
学习文章列表

Hi，我是王知无，一个大数据领域的原创作者。 

放心关注我，获取更多行业的一手消息。

Apache Flink 社区发布了 Flink 1.13 的另一个错误修复版本。

此版本包括99个错误和漏洞修复以及 Flink 1.13 的小改进，包括 Apache Log4j 的另一次升级（到 2.17.1）。您将在下面找到所有错误修复和改进的列表（不包括对构建基础架构和构建稳定性的改进）。有关所有更改的完整列表，请参阅JIRA列表。

我们强烈建议所有用户升级到 Flink 1.13.6。

新的Maven依赖

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.13.6</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.13.6</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.11</artifactId>
  <version>1.13.6</version>
</dependency>

修复漏洞

• [ FLINK-15987 ] - SELECT 1.0e0 / 0.0e0 抛出 NumberFormatException
• [ FLINK-17914 ] - 如果存档列表失败，HistoryServer 会删除缓存的存档
• [ FLINK-20195 ] - Jobs 端点返回重复的作业
• [ FLINK-20370 ] - sink 主键与查询不同时结果错误
• [ FLINK-21289 ] - 应用程序模式忽略 pipeline.classpaths 配置
• [ FLINK-23919 ] - PullUpWindowTableFunctionIntoWindowAggregateRule 为 Window TVF 生成无效的 Calc
• [ FLINK-24232 ] - 暂停作业的存档可防止中断后续存档尝试
• [ FLINK-24255 ] - 测试环境/迷你集群不转发配置。
• [ FLINK-24310 ] - 文档中 BufferingSink 示例中的错误
• [ FLINK-24318 ] - 将数字转换为布尔值在“选择”字段和“位置”条件之间有不同的结果
• [ FLINK-24334 ] - 配置 kubernetes.flink.log.dir 不起作用
• [ FLINK-24366 ] - 当任务已被取消时，有关还原失败的不必要/误导性错误消息。
• [ FLINK-24401 ] - Metaspace OOM 后 TM 无法退出
• [ FLINK-24465 ] - 缓冲区超时的错误 javadoc 和文档
• [ FLINK-24492 ] - numeric 和 (var)char 之间不正确的隐式类型转换
• [ FLINK-24506 ] - 检查点目录无法通过传递给 StreamExecutionEnvironment 的 Flink 配置进行配置
• [ FLINK-24509 ] - 由于使用了不正确的构造函数签名，FlinkKafkaProducer 示例未编译
• [ FLINK-24540 ] - 修复 Files.list 导致的资源泄漏
• [ FLINK-24543 ] - Zookeeper 连接问题导致 Flink 中的状态不一致
• [ FLINK-24563 ] - 将 timstamp_ltz 与随机字符串进行比较会抛出 NullPointerException
• [ FLINK-24597 ] - RocksdbStateBackend getKeysAndNamespaces 在使用 MapState 时会返回重复数据
• [ FLINK-24621 ] - 由于 InflightDataRescalingDescriptor，JobManager 无法恢复 1.13.1 检查点
• [ FLINK-24662 ] - PyFlink sphinx 检查失败，"节点类 'meta' 已注册，其访问者将被覆盖"
• [ FLINK-24667 ] - 如果之前遇到异常，通道状态编写器将直接失败任务
• [ FLINK-24676 ] - 如果用部分列解释插入语句，则架构不匹配
• [ FLINK-24678 ] - 更正地图状态的度量名称包含延迟
• [ FLINK-24708 ] - ConvertToNotInOrInRule 有一个导致错误结果的错误
• [ FLINK-24728 ] - 批处理 SQL 文件接收器忘记关闭输出流
• [ FLINK-24761 ] - 修复 PartitionPruner 代码生成编译失败
• [ FLINK-24846 ] - AsyncWaitOperator 在 stop-with-savepoint 期间失败
• [ FLINK-24860 ] - 修复 Python UDTF 中错误的位置映射
• [ FLINK-24885 ] - ProcessElement 接口参数收集器：java.lang.NullPointerException
• [ FLINK-24922 ] - 修复单词“parallism”中的拼写错误
• [ FLINK-25022 ] - 通过 REST API 提交作业时，JM 上的 ThreadLocals 的 ClassLoader 泄漏
• [ FLINK-25067 ] - 更正 RocksDB 后台线程的描述
• [ FLINK-25084 ] - 字段名称必须是唯一的。找到重复项
• [ FLINK-25091 ] - 官网文档FileSink orc压缩属性引用错误
• [ FLINK-25096 ] - flink 1.13.2 中的异常 API(/jobs/:jobid/exceptions) 中的问题
• [ FLINK-25199 ] - StreamEdges 在自联合中不是唯一的，它会阻止水印的传播
• [ FLINK-25362 ] - Table Confluent/Avro 文档中的依赖关系不正确
• [ FLINK-25468 ] - 如果本地状态存储和 RocksDB 工作目录不在同一个卷上，则本地恢复失败
• [ FLINK-25486 ] - 当 zookeeper 领导者改变时，Perjob 无法从检查点恢复
• [ FLINK-25494 ] - DefaultOperatorStateBackendSnapshotStrategy#syncPrepareResources 期间重复的元素序列化程序
• [ FLINK-25513 ] - CoFlatMapFunction 需要两个 flat_map 才能产生一些东西
• [ FLINK-25559 ] - SQL JOIN 导致数据丢失
• [ FLINK-25683 ] - 如果表转换为 DataStream 则结果错误，然后在批处理模式下进行窗口处理
• [ FLINK-25728 ] - StreamMultipleInputProcessor 中潜在的内存泄漏
• [ FLINK-25732 ] - Dispatcher#requestMultipleJobDetails 返回不可序列化的集合

改进

• [ FLINK-21407 ] - 明确哪些来源和 API 支持哪些格式
• [ FLINK-20443 ] - ContinuousProcessingTimeTrigger 不会在窗口结束时触发
• [ FLINK-21467 ] - 记录 Bounded{One/Multi}Input.endInput 的可能推荐用法，并强调它们可以被多次调用
• [ FLINK-23842 ] - 为读者注册和拆分请求添加日志消息。
• [ FLINK-24631 ] - 避免直接使用标签作为部署和服务的选择器
• [ FLINK-24739 ] - 在文档中说明 Flink 的应用模式的要求
• [ FLINK-24987 ] - 增强 ExternalizedCheckpointCleanup 枚举
• [ FLINK-25160 ] - 使文档清晰：可容忍失败检查点计数连续失败
• [ FLINK-25415 ] - 实现对 Cassandra 容器连接的重试
• [ FLINK-25611 ] - 移除 CoordinatorExecutorThreadFactory 线程创建保护
• [ FLINK-25818 ] - 添加解释当并行度高于分区数时 Kafka Source 如何处理空闲

技术债务

• [ FLINK-24740 ] - 将 testcontainers 依赖更新到 v1.16.2
• [ FLINK-24796 ] - 从 CI 编译工件中排除 javadocs / node[_modules] 目录
• [ FLINK-25472 ] - 更新到 Log4j 2.17.1
• [ FLINK-25375 ] - 将 Log4j 更新到 2.17.0
• [ FLINK-25576 ] - 将 com.h2database:h2 更新为 2.0.206