Checkpoints

    参考 Checkpointing 查看如何在 Flink 程序中开启和配置 checkpoint。

    To understand the differences between checkpoints and see checkpoints vs. savepoints.

    保留 Checkpoint

    配置项定义了当作业取消时,对作业 checkpoint 的操作:

    • :当作业取消时,保留作业的 checkpoint。注意,这种情况下,需要手动清除该作业保留的 checkpoint。
    • :当作业取消时,删除作业的 checkpoint。仅当作业失败时,作业的 checkpoint 才会被保留。

    savepoints 相似,checkpoint 由元数据文件、数据文件(与 state backend 相关)组成。可通过配置文件中 “state.checkpoints.dir” 配置项来指定元数据文件和数据文件的存储路径,另外也可以在代码中针对单个作业特别指定该配置项。

    其中 SHARED 目录保存了可能被多个 checkpoint 引用的文件,TASKOWNED 保存了不会被 JobManager 删除的文件,EXCLUSIVE 则保存那些仅被单个 checkpoint 引用的文件。

    通过配置文件全局配置

    创建 state backend 对单个作业进行配置

    从保留的 checkpoint 中恢复状态