EngineConnPlugin(ECP)架构

一、ECP架构图

二级模块介绍:

引擎连接器插件服务是对外提供注册插件、管理插件,以及插件资源构建的入口服务。成功注册加载的引擎插件会包含资源分配和启动参数配置的逻辑,在引擎初始化过程中,EngineConn Manager等其他服务通过RPC请求调用Plugin Server里对应插件的逻辑。

引擎连接器插件缓存是专门用来缓存已经加载的引擎连接器的缓存服务,并支持读取、更新、移除的能力。已经加载进服务进程的插件会被连同其类加载器一起缓存起来,避免多次加载影响效率;同时缓存模组会定时通知加载器去更新插件资源,如果发现有变动,会重新加载并自动刷新缓存。

引擎连接插件集合是用来放置已经基于我们定义的插件接口实现的默认引擎连接器插件库。提供了默认引擎连接器实现,如jdbc、spark、python、shell等。用户可以基于自己的需求参考已经实现的案例,实现更多的引擎连接器。