插件架构

    cube 元数据定义了 cube 所依赖的引擎,源和存储的类型。工厂模式用于构造每个依赖项的实例。适配器模式用于将部件连接在一起。

    • fact_table:
    • storage_type: (HBase Storage v2)

    基于元数据,工厂创建 MR 引擎,Hive 数据源和 HBase 存储。

    Plugin Architecture Factory Pattern

    一旦上面的对象图被创建和连接,引擎就可以驱动 cube 构建过程。

    插件架构的好处

    • 自由
      • Zoo 打破了,不再与 Hadoop 绑定
    • 可扩展性
      • 接受任意输入,例如 Kafka
      • 拥抱下一代分布式平台,例如 Spark