Hadoop组件

    Hadoop的文件命令采取的形式为

    基中cmd是具体的文件命令,而<args>是一组数据可变的参数.cmd的命名通常与unix对应的命令名相同.例如,文件形表命令为

    cat命令

    1. 将路径指定文件的内容输出到stdout
    2. hadoop@Master:~$ hadoop dfs -cat input/core-site.xml

    chgrp命令

    1. 改变文件所属组.使用-R将使改变在目录结构下递归进行.命令的使用者必须是文件的所有者或者超级用户.

    chmod命令

      chown命令

      1. 改变文件的拥有者

      du命令

      1. hadoop@Master:/usr/local/hadoop/etc/hadoop$ hadoop fs -du input/core-site.xml

      expunge命令

      清空回收站
      除了文件权限之外,还有一个保护机制可以防止在HDFS上意外删除文件,这就是回收站,默认情况下该功能是被禁用.当它启用后,用于删除的命令行不会立即删除文件.
      相反它们会暂时的把文件移动到用户工作目录下的.Trash文件夹下.若要启用回收站功能并设置清空回收站的时间延迟,可能通过设置core-site.xml的fs.trash.interval属性(以分钟为单位).
      例如如果你希望用户有24个小时的时间来还原已删除的文件,就应该在core-site.xml中设置.
      如果将该值设置为0,则将禁用回收站的功能

      1. <property>
      2.    <name>fs.trash.interval</name>
      3.    <value>1440</value>
      4. </property>

      get命令

      复制文件到本地文件系统.

      1. hadoop fs -get input/hadoop.tar.gz ~/

      lsr命令

      ls命令的递归版本,类似于Unix中的ls -R

      1. hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

      mv命令

      将文件从源路径移动到目标路径

      put命令

      从本地文件系统中复制单个或者多个源路径到目标文件系统.也支持从标准输入中读取输入写入目标文件系统.

      1. hadoop fs -put /tmp/*.xml /user/hadoop/

      rmr命令

      1. hadoop fs -rmr /user/hadoop/chu888chu888

      job命令

      2.  * 提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包
      3.  * $ hadoop jar <local-jar-file> <java-class> <hdfs-input-file> <hdfs-output-dir>
      4.  * $ hadoop jar sandbox-mapred-0.0.20.jar sandbox.mapred.WordCountJob /user/cl/input.dat /user/cl/outputdir
      5.  *
      6.  * 杀死某个正在运行的Job
      7.  * 假设Job_Id为：job_201207121738_0001
      8.  * $ hadoop job -kill job_201207121738_0001

      Hadoop提供的文件系统检查工具叫做fsck,如参数为文件路径时,它会递归检查该路径下所有文件的健康状态,如果参数为/,它就会检查整个文件系统,如下输出一个例子.

      1. hadoop@Master:~$ hadoop fsck /
      2. DEPRECATED: Use of this script to execute hdfs command is deprecated.
      3. Instead use the hdfs command for it.
      4. 16/01/27 22:55:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
      5. Connecting to namenode via http://Master:50070
      6. FSCK started by hadoop (auth:SIMPLE) from /192.168.1.80 for path / at Wed Jan 27 22:55:15 CST 2016
      7. .....................Status: HEALTHY
      8.  Total size:    878899 B
      10.  Total files:    21
      11.  Total symlinks:        0
      12.  Total blocks (validated):    20 (avg. block size 43944 B)
      13.  Minimally replicated blocks:    20 (100.0 %)
      14.  Over-replicated blocks:    0 (0.0 %)
      15.  Under-replicated blocks:    0 (0.0 %)
      16.  Mis-replicated blocks:        0 (0.0 %)
      17.  Default replication factor:    1
      18.  Average block replication:    1.0
      19.  Corrupt blocks:        0
      20.  Missing replicas:        0 (0.0 %)
      21.  Number of data-nodes:        2
      22.  Number of racks:        1
      23. FSCK ended at Wed Jan 27 22:55:15 CST 2016 in 32 milliseconds

      编程读写HDFS