Pipeline 引擎

    因为发布的安装部署包中默认安装包中没有pipeline引擎，因此需要获取对应引擎的jar包文件

    方式1

    通过 下载

    方式2 手动编译获取

    注意: 编译pipeline引擎之前需要进行linkis项目全量编译

    编译出来的引擎包,位于

    1. ${linkis_code_dir}/linkis-engineconn-plugins/pipeline/target/out/pipeline

    将 步骤 1.1获取到的引擎物料包，上传到服务器的引擎目录下${LINKIS_HOME}/lib/linkis-engineplugins

    并重启linkis-engineplugin进行引擎刷新

    检查引擎是否刷新成功：可以查看数据库中的linkis_engine_conn_plugin_bml_resources这张表的last_update_time是否为触发刷新的时间。

    1. #登陆到linkis的数据库 
    2. select *  from linkis_cg_engine_conn_plugin_bml_resources

    2 引擎的使用

    因为pipeline引擎主要用来导入导出文件为主，现在我们假设从A向B导入文件最为介绍案例

    通过linkis-cli的方式提交任务，需要指定对应的EngineConn和CodeType标签类型，pipeline的使用如下：

    • 注意 engineType pipeline-1 引擎版本设置是有前缀的 如 pipeline 版本为 则设置为 pipeline-1

    from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv 该内容 2.3 有解释

    具体使用可以参考： Linkis CLI Manual.

    工作空间模块右键选择新建一个类型为storage的脚本

    2.2.1 编写脚本

    语法为：from path to path
    1. #dolphin 类型
    2. from hdfs:///000/000/000/A.dolphin to file:///000/000/000/B.csv
    5. #其他类型
    6. from hdfs:///000/000/000/A.txt to file:///000/000/000/B.txt

    文件A导出为文件B

    • from path to path
    • hdfs:///000/000/000/A.csv： 输入文件路径及文件
    • file:///000/000/000/B.csv： 输出文件路径及文件

    文件B导出为文件A

    1. from hdfs:///000/000/000/B.csv to file:///000/000/000/A.CSV
    • ： 输入文件路径及文件
    • file:///000/000/000/A.CSV： 输出文件路径及文件

    Pipeline 引擎 - 图2

    注意：语法末端不能带分号(;),否则语法错误。

    2.2.2 结果

    进度

    历史记录