插件

    Airflow内置了一个简单的插件管理器，可以通过简单地删除文件夹中的文件，将外部功能集成到其核心。

    plugins文件夹中的python模块将被导入，钩子，操作符，传感器，宏，执行器和Web视图将集成到Airflow的主要集合中，并可供使用。

    插件可以简便地用作编写，共享和激活新功能集。

    当然还需要一组更复杂的应用程序来与不同风格的数据和元数据进行交互。

    • 一组用于解析Hive日志和公开Hive元数据（CPU/IO/阶段/倾斜/…）的工具
    • 异常检测框架，允许人们收集指标，设置阈值和警报
    • 审计工具，帮助了解谁访问了什么
    • 配置驱动的SLA监控工具，允许您设置受监控的表以及应该在何时着陆，提醒人员并公开停机的可视化
    • …

    Airflow有许多组件可以在构建应用程序时重用：

    • 可用于呈现视图的Web服务器
    • 用于存储模型的元数据数据库
    • 访问您的数据库，以及如何连接到它们
    • 应用程序可以将工作负载推送到的一组Workers
    • 部署了Airflow，您可以专注于后面的工作
    • 基本的图表功能，底层库和抽象

    要创建插件，您需要派生airflow.plugins_manager.AirflowPlugin类并引用要插入Airflow的对象。以下是类似您需要派生的类：

    1. # This is the class you derive to create a plugin
    2. from airflow.plugins_manager import AirflowPlugin
    4. from flask import Blueprint
    5. from flask_admin import BaseView, expose
    6. from flask_admin.base import MenuLink
    8. # Importing base classes that we need to derive
    9. from airflow.hooks.base_hook import BaseHook
    10. from airflow.models import BaseOperator
    11. from airflow.sensors.base_sensor_operator import BaseSensorOperator
    12. from airflow.executors.base_executor import BaseExecutor
    14. # Will show up under airflow.hooks.test_plugin.PluginHook
    15. class PluginHook(BaseHook):
    16.     pass
    17. # Will show up under airflow.operators.test_plugin.PluginOperator
    18. class PluginOperator(BaseOperator):
    19.     pass
    21. # Will show up under airflow.sensors.test_plugin.PluginSensorOperator
    22. class PluginSensorOperator(BaseSensorOperator):
    23.     pass
    26. class PluginExecutor(BaseExecutor):
    27.     pass
    29. # Will show up under airflow.macros.test_plugin.plugin_macro
    30. def plugin_macro():
    31.     pass
    33. # Creating a flask admin BaseView
    34. class TestView(BaseView):
    35.     @expose('/')
    36.     def test(self):
    37.         # in this example, put your test_plugin/test.html template at airflow/plugins/templates/test_plugin/test.html
    38.         return self.render("test_plugin/test.html", content="Hello galaxy!")
    39. v = TestView(category="Test Plugin", name="Test View")
    41. # Creating a flask blueprint to integrate the templates and static folder
    42. bp = Blueprint(
    43.     "test_plugin", __name__,
    44.     template_folder='templates', # registers airflow/plugins/templates as a Jinja template folder
    45.     static_folder='static',
    46.     static_url_path='/static/test_plugin')
    48. ml = MenuLink(
    49.     name='Test Menu Link',
    50.     url='https://airflow.incubator.apache.org/')
    53. class TestAppBuilderBaseView(AppBuilderBaseView):
    54.     @expose("/")
    55.     def test(self):
    56.         return self.render("test_plugin/test.html", content="Hello galaxy!")
    57. v_appbuilder_view = TestAppBuilderBaseView()
    58. v_appbuilder_package = {"name": "Test View",
    59.                         "category": "Test Plugin",
    60.                         "view": v_appbuilder_view}
    62. # Creating a flask appbuilder Menu Item
    63. appbuilder_mitem = {"name": "Google",
    64.                     "category": "Search",
    65.                     "category_icon": "fa-th",
    66.                     "href": "https://www.google.com"}
    68. # Defining the plugin class
    69. class AirflowTestPlugin(AirflowPlugin):
    70.     name = "test_plugin"
    71.     operators = [PluginOperator]
    72.     sensors = [PluginSensorOperator]
    73.     hooks = [PluginHook]
    74.     executors = [PluginExecutor]
    75.     macros = [plugin_macro]
    76.     admin_views = [v]
    77.     flask_blueprints = [bp]
    78.     menu_links = [ml]
    79.     appbuilder_views = [v_appbuilder_package]

    Airflow 1.10使用FlaskAppBuilder引入了基于角色的视图。您可以通过设置rbac = True来配置使用的UI。为了支持两个版本的UI的插件视图和链接并保持向后兼容性，请将字段appbuilder_views和appbuilder_menu_items添加到AirflowTestPlugin类中。