EngineConn Metrics 上报特性

    1.2 目标

    • 增加了包含资源、进度、额外信息的RPC 协议，支持在一次请求中上报这些信息
    • 重构已有的资源、进度上报的链路，将上报相关信息的动作合并为一个请求

    2. 总体设计

    本次需求涉及模块。在computation-engineconn模块添加和重构上报信息，并且在entrance端解析这些信息和入库。

    2.1 技术架构

    引擎信息上报架构如图所示。用户提交任务到entrance后，entrance向linkismanager申请引擎。 申请到引擎后，向申请提交任务，并接收任务的定时上报（资源、进度、状态）。直到任务执行完毕，entrance在用户查询时返回最终结果。 本次需求修改，需要在entrance中新增引擎metrics信息入库； 在Orchestrator中将Resource和Progress接口信息合并，并且增加metrics等额外信息； 在交互式引擎ComputationEngineConn端将上报的资源和进度信息合并，并且额外上报引擎统计信息。

    核心执行流程

    -[输入端]输入端为交互式引擎端computation-engineconn。引擎在执行任务时，上报运行信息TaskRunningInfo，包含原有的TaskProgressInfo和，新增了引擎示例信息和引擎现有任务数信息。

    engineconn-mitrics-2.png

    4. 数据结构

    需求新增了RPC protocol TaskRunningInfo ，无新增db表

    6. 非功能性设计：

    6.1 安全

    RPC接口内部鉴权，不涉及对外安全问题

    合并了两个RPC接口，减少上报次数，提升了性能

    6.3 容量

    metrics信息较少，无影响

    6.4 高可用