快速部署

    安装过程中遇到的问题,可以参考排障指引

    如果您是首次接触并使用Linkis,您可以忽略该章节;如果您已经是 Linkis 的使用用户,安装或升级前建议先阅读:Linkis1.0 与 Linkis0.X 的区别简述

    请注意:除了 Linkis1.0 安装包默认已经包含的:Python/Shell/Hive/Spark四个EngineConnPlugin以外,如果大家有需要,可以手动安装如 JDBC 引擎等类型的其他引擎,具体请参考 。

    Linkis1.0.3 默认已适配的引擎列表如下:

    这里给出每个引擎的依赖信息列表:

    引擎类型依赖环境特殊说明
    PythonPython环境日志和结果集如果配置hdfs://则依赖HDFS环境
    JDBC可以无依赖日志和结果集路径如果配置hdfs://则依赖HDFS环境
    Shell可以无依赖日志和结果集路径如果配置hdfs://则依赖HDFS环境
    Hive依赖Hadoop和Hive环境
    Spark依赖Hadoop/Hive/Spark

    要求:安装Linkis需要至少3G内存。

    默认每个微服务JVM堆内存为512M,可以通过修改来统一调整每个微服务的堆内存,如果您的服务器资源较少,我们建议修改该参数为128M。如下:

    1. # java application default jvm memory.
    2. export SERVER_HEAP_SIZE="128M"

    下面的软件必装:

    3.2 创建用户

    例如: 部署用户是hadoop账号

    1. sudo useradd hadoop
    1. 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的。
    1. vi /etc/sudoers
    1. hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
    1. 修改安装用户的.bash_rc,命令如下:

    下方为环境变量示例:

    1. #JDK
    2. export JAVA_HOME=/nemo/jdk1.8.0_141
    3. ##如果不使用Hive、Spark等引擎且不依赖Hadoop,则不需要修改以下环境变量
    4. #HADOOP
    5. export HADOOP_HOME=/appcom/Install/hadoop
    6. export HADOOP_CONF_DIR=/appcom/config/hadoop-config
    7. export HIVE_HOME=/appcom/Install/hive
    8. export HIVE_CONF_DIR=/appcom/config/hive-config
    9. #Spark
    10. export SPARK_HOME=/appcom/Install/spark
    11. export SPARK_CONF_DIR=/appcom/config/spark-config/
    12. export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # Pyspark必须加的参数
    1. 如果您的Pyspark和Python想拥有画图功能,则还需在所有安装节点,安装画图模块。命令如下:
    1. python -m pip install matplotlib

    3.3 安装包准备

    从Linkis已发布的release中(点击这里进入下载页面),下载最新的安装包。

    先解压安装包到安装目录,并对解压后的文件进行配置修改。

    1. tar -xvf apache-linkis-x.x.x-incubating-bin.tar.gz
    1. vi deploy-config/linkis-env.sh

    3.5 修改数据库配置

    1. vi deploy-config/db.sh
    1. # 包括IP地址、数据库名称、用户名、端口
    2. # 主要用于存储用户的自定义变量、配置参数、UDF和小函数,以及提供JobHistory的底层存储
    3. MYSQL_HOST=
    4. MYSQL_PORT=
    5. MYSQL_DB=
    6. MYSQL_USER=
    7. MYSQL_PASSWORD=

    4.1 执行安装脚本:

    1. sh bin/install.sh
    • install.sh脚本会询问您是否需要初始化数据库并导入元数据。

      因为担心用户重复执行install.sh脚本,把数据库中的用户数据清空,所以在install.sh执行时,会询问用户是否需要初始化数据库并导入元数据。

      第一次安装必须选是。

      请注意:如果您是升级已有环境的 Linkis0.X 到 Linkis1.0,请不要直接选是,请先参考

      请注意:如果您是升级已有环境的 Linkis0.X 到 Linkis1.0,请不要直接选是,请先参考 Linkis1.0升级指南

    4.3 是否安装成功:

    1. 通过查看控制台打印的日志信息查看是否安装成功。
    2. 如果有错误信息,可以查看具体报错原因。
    3. 您也可以通过查看我们的[常见问题](https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq),获取问题的解答。

    4.4 添加mysql驱动包

    注意

    因为mysql-connector-java驱动是GPL2.0协议,不满足Apache开源协议关于license的政策,因此从1.0.3版本开始,提供的Apache版本官方部署包,默认是没有mysql-connector-java-x.x.x.jar的依赖包,安装部署时需要自行添加依赖到对应的lib包中

    下载mysql驱动 以5.1.49版本为例:下载链接

    拷贝mysql 驱动包至lib包下

    (1)、启动服务:

    在安装目录执行以下命令,启动所有服务:

    (2)、查看是否启动成功

    可以在Eureka界面查看服务启动成功情况,查看方法:

    使用http://${EUREKA\_INSTALL\_IP}:${EUREKA\_PORT}, 在浏览器中打开,查看服务是否注册成功。

    如果您没有在config.sh指定EUREKA_INSTALL_IP和EUREKA_INSTALL_IP,则HTTP地址为:

    如下图,如您的Eureka主页出现以下微服务,则表示服务都启动成功,可以正常对外提供服务了:

    Linkis1.0_Eureka

    (3)、查看服务是否正常

    1. 服务启动成功后您可以通过,安装前端管理台,来检验服务的正常性,