gpfdist

    gpfdist是Greenplum数据库并行文件分发程序。它可以被外部表和gpload用来并行地将外部表文件提供给所有的Greenplum数据库Segment。它由可写外部表使用，并行接受来自Greenplum数据库Segment的输出流，并将它们写出到文件中。

    为了使外部表使用gpfdist ，外部表定义的LOCATION子句必须使用gpfdist://协议（参见Greenplum数据库命令CREATE EXTERNAL TABLE）。

    注意： 如果--ssl 选项被指定来启用SSL安全性，请使用gpfdists://协议创建外部表。

    使用gpfdist的好处是在读取或写入外部表时可以保证最大的并行性，从而提供最佳的性能，并且更容易管理外部表。

    对于外部表，当用户从外部表中SELECT 时，gpfdist会将数据文件均匀地分析并提供给Greenplum数据库系统的所有Segment实例。对于可写的外部表，gpfdist在用户INSERT外部表时接受来自Segment的并行输出流，并写入输出文件。

    对于可读外部表，如果使用gzip或bzip2（具有.gz或.bz2的文件扩展名），gpfdist会在装载之前自动解压文件，前提是gunzip或bunzip2在用户的路径中。

    注意： 目前，可读外部表不支持在Windows平台上进行压缩，可写外部表不支持任何平台上的压缩。

    当使用gpfdist或gpfdists协议读写数据时，Greenplum数据库在HTTP请求头部中包含 X-GP-PROTO，以指示该请求来自Greenplum数据库。该工具拒绝请求头部中不包含X-GP-PROTO的HTTP请求。

    用户很可能希望在ETL机器而不是安装Greenplum数据库的主机上运行gpfdist。在要其他主机上安装gpfdist，只需简单的将该程序复制到该主机上，然后将gpfdist添加到用户的$PATH中。

    注意： 使用IPv6时，请始终将数字IP地址括在括号内。

    -d directory

    指定一个目录，gpfdist将从该目录中为可读外部表提供文件，或为可写外部表创建输出文件。如果没有指定，默认为当前目录。

    -l log_file

    要记录标准输出消息的完全限定路径和日志文件名称。

    -p http_port

    gpfdist 提供文件要使用的HTTP端口。默认为8080。

    -t timeout

    -m max_length

    设置以字节为单位的最大数据行长度。默认值是32768。当用户数据包含非常宽的行时（或者当line too long错误消息发生时）应该使用，否则不应该使用，因为它会增加资源分配。有效范围是32K到256MB（Windows系统上限为1MB）。

    注意： 如果用户指定较大的最大行长度并运行大量的gpfdist并发连接，则可能会发生内存问题。例如，使用96个并行gpfdist进程需要大约24GB的内存（(96 + 1) x 246MB）。

    -s

    启用简化的日志记录。指定此选项时，只有具有WARN级别或者更高级别的消息才会写入gpfdist日志文件。INFO级别的消息不写入日志文件。如果未指定这一选项，则所有gpfdist消息都写入日志文件。

    用户可以指定此选项以减少写入日志文件的信息。

    -S (use O_SYNC)

    使用O_SYNC标志打开同步I/O的文件。任何对结果文件描述的写都会阻塞gpfdist，直到数据被物理地写到底层硬件。

    -w time

    设置关闭目标文件（如命名管道）之前Greenplum数据库延迟的秒数。 默认值是0，没有延迟。最大值是7200秒（2小时）。

    对于具有多个Segment的Greenplum数据库，在将不同Segment中的数据写入文件时，Segment之间可能会有延迟。用户可以指定Greenplum数据库关闭文件之前要等待的时间，以确保所有数据都被写入文件。

    --ssl certificate_path

    将SSL加密添加到使用gpfdist传输的数据。使用--ssl certificate_path选项执行gpfdist之后，从此文件服务器加载数据的唯一方法是使用gpfdist://协议。有关gpfdist://协议的信息，请参阅Greenplum数据库管理员指南中的“装载和卸载数据”。

    在certificate_path 中指定的位置必须包含以下文件：

    • 服务器私钥文件，server.key
    • 可信证书机构，root.crt

    根目录（/）不能指定为certificate_path。

    --sslclean wait_time

    使用--ssl选项运行该工具时，设置该工具完成向Greenplum数据库Segment读写数据后关闭SSL会话和清除SSL资源之前要延迟的秒数。默认值是0，没有延迟。最大值是500秒。如果延迟增加，传输速度降低。

    -c config.yaml

    指定gpfdist在装载或抽取数据时，用来选择要应用的转换的规则。gpfdist的配置文件是一个YAML1.1文档。

    有关文件格式的信息，请参阅Greenplum数据库管理员指南中的配置件格式。有关用gpfdist配置数据转换的信息，请参阅Greenplum数据库管理员指南中的。

    该选项在windows平台中不可用。

    -v （详细模式）

    显示进度和状态信息的详细模式。

    -V （非常详细模式）

    显示由该工具生成的所有输出信息的详细模式。

    -? （帮助）

    显示在线帮助。

    --version

    显示该工具的版本。

    使用端口8081从指定目录提供文件（并在后台启动gpfdist ）：

    在后台启动gpfdist并将输出和错误重定向到日志文件：

    停止在后台运行的gpfdist

    --首先找到它的进程ID：

    --然后杀死该进程，例如：