调优手册
SERVER_HEAP_SIZE="512M"
Linkis的一些任务并发参数都会有一个默认值,大多数场景下默认值都可以满足需求,但是有时,默认值并不能满足需求,所以需要通过改变参数的大小进行调整,本文会介绍几个调整任务并发的参数。方便用户对生产上的并发任务进行优化。
wds.linkis.rpc.receiver.asyn.consumer.thread.max=400
wds.linkis.rpc.receiver.asyn.queue.size.max=5000
wds.linkis.rpc.sender.asyn.queue.size.max=2000
private val groupNameToGroups = new JMap[String, Group]
private val labelBuilderFactory = LabelBuilderFactoryContext.getLabelBuilderFactory
val initCapacity = 100
val maxCapacity = 100
// 其它代码...
}
}
在提交任务运行在Yarn上时,Yarn提供了可配置的接口,Linkis作为一个可拓展性强的框架,同样也可以通过Linkis的配置来设置资源配置。
在linkis-engineconn-plugins/engineconn-plugins里的Spark的部分配置,可以调整该配置改变提交到Yarn上的任务运行时环境,由于篇幅有限,如更多有关Hive,Yarn配置需要用户参考源码和参数文档: