MapReduce(MR)节点

    • 使用MR节点,可以直接执行MR程序。对于mr节点,worker会使用方式提交任务
    • 主函数的class:是MR程序的入口Main Class的全路径
    • 程序类型:选择JAVA语言
    • 命令行参数:是设置MR程序的输入参数,支持自定义参数变量的替换
    • 其他参数:支持 –D、-files、-libjars、-archives格式
    • 资源: 如果其他参数中引用了资源文件,需要在资源中选择指定
    • 自定义参数:是MR局部的用户自定义参数,会替换脚本中以${变量}的内容

    Python程序

    • 程序类型:选择Python语言
    • 其他参数:支持 –D、-mapper、-reducer、-input -output格式,这里可以设置用户自定义参数的输入,比如:
    • -mapper “ 1” -file mapper.py -reducer -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}
    • 其中 -mapper 后的 1是两个参数,第一个参数是mapper.py,第二个参数是1
    • 资源: 如果其他参数中引用了资源文件,需要在资源中选择指定
    • 自定义参数:是MR局部的用户自定义参数,会替换脚本中以${变量}的内容