Python引擎
HADOOP_HOME=${真实的hadoop配置目录}
HADOOP_CONF_DIR=${真实的hadoop安装目录}
1.2 依赖服务启动
- 1)、Eureka: 用于服务注册于发现。
- 2)、Linkis-gateway: 用于用户请求转发。
- 3)、Linkis-publicService: 提供持久化、udf等基础功能。
- 4)、Linkis-ResourceManager:提供Linkis的资源管理功能。
1.4 python执行路径的确定
用户集群中的python环境差异是很大的,Liniks推荐用户使用anaconda的发行版本。
另外用户可以在pythonEngineManger的配置文件linkis-engine.properties中指定python解释器的路径,具体方式为
python.script=${真实的python解析器路径,如/usr/bin/python}
1.6运行实例
在web浏览器中,打开scriptis的地址,用户可以在左侧栏的工作空间新建python脚本并在脚本编辑区域编写脚本代码,编写完成之后,点击运行,就可以将自己的代码提交到Linkis后台执行,提交之后,后台会通过websocket方式实时将日志、进度、状态等信息推送给用户。并在完成之后,将结果展示给用户。
其中执行模块的实现是采用了py4j框架,让python执行器与JVM进行交互,当用户提交代码之后,JVM通过py4j框架将代码提交到python解释器进行执行,并从python进程中得到输出的结果或者错误信息。