后端编译

    请注意:官方推荐使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.12 对 Linkis 进行编译。

    如果您想使用 Hadoop、Hive、Spark 的其他版本对 Linkis 进行编译,请参考:如何修改Linkis的依赖的Hadoop、Hive、Spark版本

    注意

    因为mysql-connector-java驱动是GPL2.0协议,不满足Apache开源协议关于license的政策,因此从1.0.3版本开始,对mysql-connector-java的依赖项作用域scope默认是test,若自行编译,可以修改顶级pom.xml的mysql-connector-java依赖的scope作用域(注释掉即可)

    如果您是本地第一次编译使用,必须在 Linkis 源码工程的根目录先执行以下命令

    1. mvn -N install

    在 Linkis 源码包根目录执行以下命令:

    1. cd linkis-x.x.x
    2. mvn clean install

    编译后的完整安装包,在工程的linkis-dist->target目录下:

    1. #详细路径如下
    2. linkis-x.x.x/linkis-dist/target/apache-linkis-x.x.x-incubating-bin.tar.gz

    后端编译 - 图2注意

    如有没有执行过全量编译,先要进行一次全量编译

    进入到对应模块进行编译,比如想重新编译 Entrance,命令如下:

    1. cd linkis-x.x.x/linkis-computation-governance/linkis-entrance
    2. mvn clean install

    注意

    如有没有执行过全量编译,先要进行一次全量编译

    这里以编译Spark 引擎为例:

    进入到 Spark 引擎所在的目录进行编译打包,命令如下:

    1. cd linkis-x.x.x/linkis-engineconn-plugins/spark
    2. mvn clean install

    在对应模块的target目录下:

    1. #spark文件下就是编译好的引擎物料
    2. linkis-x.x.x/linkis-engineconn-plugins/spark/target/out/spark

    如何单独安装 Spark 引擎?请参考

    以jdbc引擎为例

    step1 修改linkis-dist/src/main/assembly/distribution.xml 添加jdbc引擎

    1. <!--jdbc-->
    2. <fileSet>
    3. </directory>
    4. <outputDirectory>lib/linkis-engineconn-plugins/</outputDirectory>
    5. <includes>
    6. <include>**/*</include>
    7. </includes>
    8. </fileSet>

    step2 如果已经全量编译,可以直接重新编译linkis-dist模块,如果没有,这执行全量编译

    1. -pl,--projects <arg> Comma-delimited list of specified
    2. reactor projects to build instead
    3. of all projects. A project can be
    4. specified by [groupId]:artifactId
    5. or by its relative path.

    通过!实现反选,从而排除指定的引擎,缩短全量编译所需时间,以flink、sqoop和hive为例,跳过这些引擎进行编译:

    请注意:Hadoop 作为大数据基础服务,Linkis 必须依赖 Hadoop 进行编译; 而 Spark、Hive等计算存储引擎则不然,如果您不想使用某个引擎,可以无需设置该引擎的版本,无需编译该引擎插件。

    具体而言,修改 Hadoop 的版本与 Spark、Hive 等计算引擎的方式不同,下面详细介绍:

    进入 Linkis 源码包根目录,手动修改 pom.xml 文件的 Hadoop 版本信息,具体如下:

    1. cd linkis-x.x.x
    2. vim pom.xml
    1. <properties>
    2. <scala.version>2.11.12</scala.version>
    3. <jdk.compile.version>1.8</jdk.compile.version>
    4. </properties>

    后端编译 - 图4注意

    请注意:如果你的hadoop版本是hadoop3,需要修改linkis-hadoop-common的pom文件

    因为在hadoop2.8以下的时候,hdfs相关的class是在hadoop-hdfs模块中的,但是在hadoop 3.X中将对应的class移动到了模块hadoop-hdfs-client当中,您需要修改下这个文件:

    pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml 修改依赖hadoop-hdfs为hadoop-hdfs-client:

    1. <dependency>
    2. <groupId>org.apache.hadoop</groupId>
    3. <artifactId>hadoop-hdfs</artifactId> <!-- 只需要将该行替换即可,替换为 <artifactId>hadoop-hdfs-client</artifactId>-->
    4. <version>${hadoop.version}</version>
    5. </dependency>
    6. 将hadoop-hdfs修改为:
    7. <dependency>
    8. <groupId>org.apache.hadoop</groupId>
    9. <artifactId>hadoop-hdfs-client</artifactId>
    10. <version>${hadoop.version}</version>
    11. </dependency>

    这里以修改 Spark 的版本为例进行介绍。进入 Spark 引擎所在的目录,手动修改 pom.xml 文件的 Spark 版本信息,具体如下:

    1. cd linkis-x.x.x/linkis-engineconn-plugins/spark

    修改其他引擎的版本与修改 Spark 版本类似,先进入相关引擎所在的目录,手动修改 pom.xml 文件的引擎版本信息即可。

    然后请参考 编译某个引擎