通用配置
如果文件路径未明确指定文件系统的 scheme(和 authority),将会使用默认的 scheme(和 authority):
例如默认的文件系统配置为 ,则文件路径 /user/hugo/in.txt
将被处理为 hdfs://localhost:9000/user/hugo/in.txt
。
连接限制
例如在一个大型 Flink 任务建立 checkpoint 时,具有少量 RPC handler 的小型 HDFS 集群可能会由于建立了过多的连接而过载。
要限制文件系统的连接数,可将下列配置添加至 Flink 配置中。设置限制的文件系统由其 scheme 指定:
fs.<scheme>.limit.total: (数量,0/-1 表示无限制)
fs.<scheme>.limit.stream-timeout: (毫秒,0 表示无穷)
为避免不活动的流占满整个连接池(阻止新连接的建立),可以在配置中添加无活动超时时间,如果连接至少在 fs.<scheme>.limit.stream-timeout
时间内没有读/写操作,则连接会被强制关闭。
连接数是按每个 TaskManager/文件系统来进行限制的。因为文件系统的创建是按照 scheme 和 authority 进行的,所以不同的 authority 具有独立的连接池,例如 hdfs://myhdfs:50010/
和 hdfs://anotherhdfs:4399/
会有单独的连接池。