优化改进

支持精度更高和性能更好的 DecimalV3,相较于过去版本具有以下优势:

  • 可表示范围更大,取值范围都进行了明显扩充,有效数字范围 [1,38]。

  • 性能更高,根据不同精度,占用存储空间可自适应调整。

  • 支持更完备的精度推演,对于不同的表达式,应用不同的精度推演规则对结果的精度进行推演。

支持 Iceberg V2

支持 Iceberg V2 (仅支持 Position Delete, Equality Delete 会在后续版本支持),可以通过 Multi-Catalog 功能访问 Iceberg V2 格式的表。

支持 OR 条件转 IN

支持将 where 条件表达式后的 or 条件转换成 in 条件,在部分场景中可以提升执行效率。 #15437

优化 JSONB 类型的导入和查询性能,在测试数据上约有 70% 的性能提升。 #15219

Stream load 支持带引号的 CSV 数据

通过导入任务参数 来控制,默认值为 false,为 true 时表示裁剪掉 CSV 文件每个字段最外层的双引号。 #15241

Broker 支持腾讯云 CHDFS 和 百度云 BOS 、AFS

可以通过 Broker 访问存储在腾讯云 CHDFS 和 百度智能云 BOS、AFS 上的数据。 #15297

新增函数 substring_index

问题修复

  • 修复使用 date/datetimev2 类型进行分区时,分区值错误的问题。

  • 修复部分已发布功能的 Bug,具体列表可参阅:PR List

升级注意事项

已知问题

  • 请勿使用 JDK11 作为 BE 的运行时 JDK,会导致 BE Crash。

  • 该版本对csv格式的读取性能有下降,会影响csv格式的导入和读取效率,我们会在下一个三位版本尽快修复

行为改变

  • BE 配置项 默认值由 1 改成 6 ,以提升 Routine Load 的写入效率。#14775

  • FE 配置项 enable_new_load_scan_node 默认值改为 true ,将使用新的 File Scan Node 执行导入任务,对用户无影响。

  • 删除 FE 配置项 ,默认开启 Multi-Catalog 功能。

致谢

有 45 位贡献者参与到 1.2.1 版本的开发与完善中,感谢他们的付出,他们分别是:

@AshinGau

@BePPPower

@BiteTheDDDDt

@ByteYue

@caiconghui

@cambyzju

@chenlinzhong

@dataroaring

@Doris-Extras

@dutyu

@eldenmoon

@englefly

@freemandealer

@Gabriel39

@HappenLee

@Henry2SS

@hf200012

@jacktengg

@Jibing-Li

@Kikyou1997

@liaoxin01

@morningman

@morrySnow

@mrhhsg

@nextdreamblue

@qidaye

@spaces-X

@starocean999

@wangshuo128

@weizuo93

@wsjz

@xiaokang

@xinyiZzz

@xutaoustc

@yangzhg

@yiguolei

@yixiutt

@Yulei-Yang

@yuxuan-luo

@zenoyang

@zhangstar333

@zhannngchen