配置文件详解

前言

目录结构

目前dolphinscheduler 所有的配置文件都在 [conf ] 目录中. 为了更直观的了解[conf]目录所在的位置以及包含的配置文件,请查看下面dolphinscheduler安装目录的简化说明. 本文主要讲述dolphinscheduler的配置文件.其他部分先不做赘述.

[注:以下 dolphinscheduler 简称为DS.]

配置文件详解

dolphinscheduler-daemon.sh脚本负责DS的启动&关闭. start-all.sh/stop-all.sh最终也是通过dolphinscheduler-daemon.sh对集群进行启动/关闭操作. 目前DS只是做了一个基本的设置,JVM参数请根据各自资源的实际情况自行设置.

2.datasource.properties [数据库连接]

在DS中使用Druid对数据库连接进行管理,默认简化配置如下.

参数	默认值	描述
spring.datasource.driver-class-name		数据库驱动
spring.datasource.url		数据库连接地址
spring.datasource.username		数据库用户名
spring.datasource.password		数据库密码
spring.datasource.initialSize	5	初始连接池数量
spring.datasource.minIdle	5	最小连接池数量
spring.datasource.maxActive	5	最大连接池数量
spring.datasource.maxWait	60000	最大等待时长
spring.datasource.timeBetweenEvictionRunsMillis	60000	连接检测周期
spring.datasource.timeBetweenConnectErrorMillis	60000	重试间隔
spring.datasource.minEvictableIdleTimeMillis	300000	连接保持空闲而不被驱逐的最小时间
spring.datasource.validationQuery	SELECT 1	检测连接是否有效的sql
spring.datasource.validationQueryTimeout	3	检测连接是否有效的超时时间[seconds]
spring.datasource.testWhileIdle	true	申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。
spring.datasource.testOnBorrow	true	申请连接时执行validationQuery检测连接是否有效
spring.datasource.testOnReturn	false	归还连接时执行validationQuery检测连接是否有效
spring.datasource.defaultAutoCommit	true	是否开启自动提交
spring.datasource.keepAlive	true	连接池中的minIdle数量以内的连接，空闲时间超过minEvictableIdleTimeMillis，则会执行keepAlive操作。
spring.datasource.poolPreparedStatements	true	开启PSCache
spring.datasource.maxPoolPreparedStatementPerConnectionSize	20	要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。

3.zookeeper.properties [zookeeper连接配置]

参数	默认值	描述
zookeeper.quorum	localhost:2181	zk集群连接信息
zookeeper.dolphinscheduler.root	/dolphinscheduler	DS在zookeeper存储根目录
zookeeper.session.timeout	60000	session 超时
zookeeper.connection.timeout	30000	连接超时
zookeeper.retry.base.sleep	100	基本重试时间差
zookeeper.retry.max.sleep	30000	最大重试时间
zookeeper.retry.maxtime	10	最大重试次数

4.common.properties [hadoop、s3、yarn配置]

common.properties配置文件目前主要是配置hadoop/s3a相关的配置.

参数	默认值	描述
server.port	12345	api服务通讯端口
server.servlet.session.timeout	7200	session超时时间
server.servlet.context-path	/dolphinscheduler	请求路径
spring.servlet.multipart.max-file-size	1024MB	最大上传文件大小
spring.servlet.multipart.max-request-size	1024MB	最大请求大小
server.jetty.max-http-post-size	5000000	jetty服务最大发送请求大小
spring.messages.encoding	UTF-8	请求编码
spring.jackson.time-zone	GMT+8	设置时区
spring.messages.basename	i18n/messages	i18n配置
security.authentication.type	PASSWORD	权限校验类型

6.master.properties [Master服务配置]

参数	默认值	描述
master.listen.port	5678	master监听端口
master.exec.threads	100	master工作线程数量,用于限制并行的流程实例数量
master.exec.task.num	20	master每个流程实例的并行任务数量
master.dispatch.task.num	3	master每个批次的派发任务数量
master.host.selector	LowerWeight	master host选择器,用于选择合适的worker执行任务,可选值: Random, RoundRobin, LowerWeight
master.heartbeat.interval	10	master心跳间隔,单位为秒
master.task.commit.retryTimes	5	任务重试次数
master.task.commit.interval	1000	任务提交间隔,单位为毫秒
master.max.cpuload.avg	-1	master最大cpuload均值,只有高于系统cpuload均值时,master服务才能调度任务. 默认值为-1: cpu cores * 2
master.reserved.memory	0.3	master预留内存,只有低于系统可用内存时,master服务才能调度任务,单位为G

7.worker.properties [Worker服务配置]

8.alert.properties [Alert 告警服务配置]

参数	默认值	描述
alert.type	EMAIL	告警类型
mail.protocol	SMTP	邮件服务器协议
mail.server.host		邮件服务器地址
mail.server.port	25	邮件服务器端口
mail.sender	xxx@xxx.com	发送人邮箱
mail.user		发送人邮箱名称
mail.passwd	111111	发送人邮箱密码
mail.smtp.starttls.enable	true	邮箱是否开启tls
mail.smtp.ssl.enable	false	邮箱是否开启ssl
mail.smtp.ssl.trust	xxx.xxx.com	邮箱ssl白名单
xls.file.path	/tmp/xls	邮箱附件临时工作目录
	以下为企业微信配置[选填]
enterprise.wechat.enable	false	企业微信是否启用
	xxxxxxx
enterprise.wechat.secret	xxxxxxx
enterprise.wechat.agent.id	xxxxxxx
enterprise.wechat.users	xxxxxxx
enterprise.wechat.token.url	? corpid=corpId&corpsecret=secret
enterprise.wechat.push.url	https://qyapi.weixin.qq.com/cgi-bin/message/send? access_token=$token
enterprise.wechat.user.send.msg		发送消息格式
enterprise.wechat.team.send.msg		群发消息格式
plugin.dir	/Users/xx/your/path/to/plugin/dir	插件目录

参数	默认值	描述
org.quartz.jobStore.driverDelegateClass	org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.driverDelegateClass	org.quartz.impl.jdbcjobstore.PostgreSQLDelegate
org.quartz.scheduler.instanceName	DolphinScheduler
org.quartz.scheduler.instanceId	AUTO
org.quartz.scheduler.makeSchedulerThreadDaemon	true
org.quartz.jobStore.useProperties	false
org.quartz.threadPool.class	org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.makeThreadsDaemons	true
org.quartz.threadPool.threadCount	25
org.quartz.threadPool.threadPriority	5
org.quartz.jobStore.class	org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.tablePrefix	QRTZ_
org.quartz.jobStore.isClustered	true
org.quartz.jobStore.misfireThreshold	60000
org.quartz.jobStore.clusterCheckinInterval	5000
org.quartz.jobStore.acquireTriggersWithinLock	true
org.quartz.jobStore.dataSource	myDs
org.quartz.dataSource.myDs.connectionProvider.class	org.apache.dolphinscheduler.service.quartz.DruidConnectionProvider

10.install_config.conf [DS环境变量配置脚本[用于DS安装/启动]]

install_config.conf这个配置文件比较繁琐,这个文件主要有两个地方会用到.

2.DS集群的启动&关闭.

11.dolphinscheduler_env.sh [环境变量配置]

通过类似shell方式提交任务的的时候,会加载该配置文件中的环境变量到主机中. 涉及到的任务类型有: Shell任务、Python任务、Spark任务、Flink任务、Datax任务等等

配置文件

前言