HBASE的伪分布安装与分布式安装

    2.修改HBASE的JDK环境变量

    2. export JAVA_HOME=/usr/lib/jvm/

    3. 修改hbase-site.xml

    1. hadoop@Master:/usr/local/hbase/conf$ sudo nano hbase-site.xml 
    3. <configuration>
    4.  <property>
    5.            <name>hbase.rootdir</name>
    6.            <value>hdfs://Master:9000/hbase</value>
    7.  </property>
    8.  <property>
    9.            <name>hbase.cluster.distributed</name>
    10.            <value>true</value>
    11.  </property>
    12. </configuration>

    4.启动验证

    • 启动hbase
      • 进入hbase shell 
      1. hadoop@Master:/usr/local/hbase/bin$ ./hbase shell
      2. HBase Shell; enter 'help<RETURN>' for list of supported commands.
      3. Type "exit<RETURN>" to leave the HBase Shell
      4. Version 1.1.3, r72bc50f5fafeb105b2139e42bbee3d61ca724989, Sat Jan 16 18:29:00 PST 2016
      6. hbase(main):001:0> 
      8. hadoop@Master:/usr/local/hbase/bin$ jps
      9. 1601 ResourceManager
      11. 2374 HRegionServer
      12. 1883 JobHistoryServer
      13. 3037 Jps
      14. 2253 HMaster
      15. 1246 NameNode
      16. 2190 HQuorumPeer
      17. hadoop@Master:/usr/local/hbase/bin$

      这里我们尝试使用HBase 的 Thrift API，用Python和HBase进行简单交互。首先启动HBase的Thrift服务：

      二 分布式安装

      1 软件环境

      OS:Linux Master 3.19.0-25-generic #26~14.04.1-Ubuntu SMP Fri Jul 24 21:16:20 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

      Java:java version “1.8.0_65”
      Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
      Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

      Hadoop:Hadoop 2.6.0

      Hbase:hbase-1.1.3

      2 集群部署机器:

      3 准备:

      1基本安装

      1. tar -zxvf hbase-1.0.0-bin.tar.gz
      2. sudo mv hbase-1.0.0 /usr/local/hbase
      3. cd /usr/local/
      4. sudo chmod -R 775 hbase
      5. sudo chown -R hadoop:hadoop: hbase

      2修改$JAVA_HOME为jdk安装目录

      1. usr/local/hbase/conf$ sudo nano hbase-env.sh 
      2. export JAVA_HOME=/usr/lib/jvm/

      3修改hbase-site.xml 

      1. /usr/local/hbase/conf/hbase-site.xml 
      3. <configuration>
      4.   <property>
      5.     <value>hdfs://Master:9000/hbase</value>
      6.   </property>
      7.   <property>
      8.     <name>hbase.cluster.distributed</name>
      10.   </property>
      11.   <property>
      12.     <name>hbase.zookeeper.quorum</name>
      13.     <value>Master,Slave1,Slave2</value>
      14.   </property>
      15.   <property>
      16.     <name>hbase.zookeeper.property.dataDir</name>
      17.     <value>/home/hadoop</value>
      18.   </property>
      19. </configuration>

      其中第一个属性指定本机的hbase的存储目录，必须与Hadoop集群的core-site.xml文件配置保持一致；第二个属性指定hbase的运行模式，true代表全分布模式；第三个属性指定 Zookeeper 管理的机器，一般为奇数个；第四个属性是数据存放的路径。这里我使用的默认的 HBase 自带的 Zookeeper。

      4配置regionservers

      1. Slave1
      2. Slave2

      regionservers文件列出了所有运行hbase的机器（即HRegionServer)。此文件的配置和Hadoop中的slaves文件十分相似，每行指定一台机器的主机名。当HBase启动的时候，会将此文件中列出的所有机器启动。关闭时亦如此。

      5修改 ulimit 限制

      还需要在 /etc/pam.d/common-session 加上这一行:

      1. session required pam_limits.so

      否则在/etc/security/limits.conf上的配置不会生效。

      最后还要注销（logout或者exit）后再登录，这些配置才能生效！使用ulimit -n -u命令查看最大文件和进程数量是否改变了。记得在每台安装 HBase 的机器上运行哦。

      5 Slave上面的操作

      基本上把以上步骤重复一下就可以了.

      在 Master 节点上执行： 

      1. cd /usr/local
      2. hadoop@hadoopmaster:/usr/local$ sudo tar cvfz ~/hbase.tar.gz ./hbase
      3. scp ~/hbase.tar.gz hadoop@hadoopslave1:/home/hadoop/
      4. scp ~/hbase.tar.gz  hadoop@hadoopslave2:/home/hadoop/

      在Slave节点上执行:

      1. hadoop@hadoopslave1:/usr/local$ sudo tar xvfz ~/hbase.tar.gz -C /usr/local/
      2. hadoop@hadoopslave1:/usr/local$ sudo chown -R hadoop:hadoop /usr/local/hbase/
      3. hadoop@hadoopslave1:/usr/local$ sudo chmod -R 775 /usr/local/hbase/

      6 运行 HBase

      在master上运行

      1. start-dfs.sh
      2. start-yarn.sh
      3. mr-jobhistory-daemon.sh start historyserver

      7 验证 HBase 成功安装

      1.HBASE的伪分布安装与分布式安装 - 图1