使用Celery扩大规模

是您扩展worker数量的方法之一。为此，您需要设置Celery后端（RabbitMQ，Redis，…）并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。

以下是您的workers的一些必要要求：

• 需要安装，CLI需要在路径中
• 在worker上执行的Operators（执行器）需要在该上下文中满足其依赖项。例如，如果您使用HiveOperator，则需要在该框上安装hive CLI，或者如果您使用MySqlOperator，则必须以某种方式在提供所需的Python库

您的worker一旦启动就应该开始接收任务。

一些警告：

• 确保使用数据库来作为result backend（Celery result_backend，celery的后台存储数据库）的后台存储
• 任务会消耗资源，请确保您的worker有足够的资源来运行worker_concurrency任务