Greenplum数据库 v5.0 中文文档
首页
白天
夜间
下载
阅读记录
书签管理
我的书签
添加书签
移除书签
编辑文档
例 2 - 从Greenplum数据库写自定义格式的数据到HDFS
来源 1
浏览
533
扫码
打印
2020-08-20 23:11:35
例 2 - 从Greenplum数据库写自定义格式的数据到HDFS
上一篇:
下一篇:
发布点评
Greenplum数据库参考指南
Greenplum MapReduce规范
SQL命令参考
DROP FUNCTION
DROP LANGUAGE
ALTER RESOURCE QUEUE
TRUNCATE
CREATE RULE
DROP TYPE
DROP CONVERSION
COMMIT
DROP INDEX
DROP DOMAIN
DROP OPERATOR CLASS
ALTER CONVERSION
CREATE RESOURCE QUEUE
START TRANSACTION
DROP OPERATOR
DROP EXTENSION
ALTER VIEW
SET ROLE
DROP GROUP
ABORT
ALTER FILESPACE
DROP PROTOCOL
DROP TABLESPACE
ALTER PROTOCOL
DO
CREATE SEQUENCE
PREPARE
ALTER OPERATOR CLASS
CREATE EXTENSION
SQL语法概要
ROLLBACK TO SAVEPOINT
SHOW
LOCK
ALTER USER
ALTER OPERATOR FAMILY
CREATE CONVERSION
ALTER DOMAIN
COMMENT
MOVE
CREATE GROUP
CLUSTER
CREATE TYPE
CREATE TABLESPACE
DROP SEQUENCE
DROP RULE
CLOSE
CREATE TABLE
DISCARD
CHECKPOINT
CREATE VIEW
CREATE LANGUAGE
SELECT INTO
END
ALTER FUNCTION
CREATE FUNCTION
DELETE
VALUES
EXECUTE
REINDEX
SET SESSION AUTHORIZATION
FETCH
DROP AGGREGATE
SET TRANSACTION
ALTER DATABASE
INSERT
CREATE OPERATOR FAMILY
CREATE INDEX
CREATE DATABASE
DECLARE
GRANT
CREATE AGGREGATE
CREATE USER
DROP RESOURCE QUEUE
CREATE TABLE AS
ALTER SEQUENCE
VACUUM
DROP USER
DROP FILESPACE
REVOKE
DROP VIEW
ALTER TABLESPACE
ALTER TYPE
ALTER AGGREGATE
CREATE OPERATOR
CREATE EXTERNAL TABLE
DEALLOCATE
ALTER LANGUAGE
CREATE ROLE
ALTER GROUP
CREATE OPERATOR CLASS
ALTER EXTENSION
DROP OWNED
ALTER OPERATOR
CREATE CAST
RESET
REASSIGN OWNED
COPY
ALTER INDEX
CREATE SCHEMA
UPDATE
ALTER SCHEMA
DROP CAST
ALTER EXTERNAL TABLE
CREATE DOMAIN
DROP ROLE
SET
ALTER ROLE
CREATE PROTOCOL
DROP OPERATOR FAMILY
ANALYZE
SAVEPOINT
BEGIN
DROP SCHEMA
LOAD
DROP TABLE
ROLLBACK
EXPLAIN
DROP DATABASE
ALTER TABLE
DROP EXTERNAL TABLE
RELEASE SAVEPOINT
字符集支持
用于分析的Greenplum MADlib扩展
内建函数摘要
Greenplum环境变量
服务器配置参数
配置参数
参数分类
Greenplum的PL/Perl语言扩展
系统目录参考
系统目录定义
gp_persistent_filespace_node
pg_partitions
gp_relation_node
pg_appendonly
pg_type
pg_stat_last_shoperation
pg_max_external_files
pg_listener
gp_id
gp_persistent_relation_node
gp_distribution_policy
gp_segment_configuration
gp_version_at_initdb
gp_db_interfaces
pg_resqueue
gp_distributed_log
pg_constraint
pg_stat_operations
pg_shdescription
pg_aggregate
pg_rewrite
pg_pltemplate
pg_proc
pg_extension
pg_stat_partition_operations
pg_tablespace
pg_type_encoding
pg_partition_encoding
pg_attrdef
pg_window
pg_exttable
gp_distributed_xacts
pg_language
pg_filespace_entry
pg_class
pg_largeobject
gp_global_sequence
pg_filespace
gpexpand.expansion_progress
pg_compression
pg_description
pg_stat_activity
gpexpand.status
pg_amproc
gpexpand.status_detail
pg_statistic
gp_fastsequence
pg_stat_resqueues
gp_persistent_tablespace_node
pg_partition
gp_configuration_history
pg_amop
pg_partition_columns
pg_available_extensions
pg_opclass
pg_resourcetype
pg_trigger
pg_database
gp_persistent_database_node
pg_attribute
pg_conversion
gp_pgdatabase
pg_locks
gp_fault_strategy
pg_am
pg_shdepend
pg_available_extension_versions
pg_index
pg_authid
pg_resqueuecapability
pg_depend
pg_roles
gp_resqueue_status
pg_stat_replication
gp_interfaces
pg_stat_last_operation
pg_auth_members
pg_inherits
pg_user_mapping
pg_partition_templates
gp_transaction_log
pg_attribute_encoding
pg_namespace
pg_enum
pg_operator
pg_resqueue_attributes
pg_cast
pg_partition_rule
系统视图
系统表
Greenplum的PL/R语言扩展
gpperfmon数据库
socket_stats_*
system_*
queries_*
diskspace_*
segment_*
interface_stats_*
filerep_*
log_alert_*
dynamic_memory_info
memory_info
database_*
Greenplum数据库数据类型
SQL 2008可选特性符合
Greenplum的PL/pgSQL过程语言
Greenplum特性摘要
Greenplum的模糊字符串匹配扩展
gp_toolkit管理方案
Greenplum的PL/Java语言扩展
Greenplum的PL/Python语言扩展
安全配置指南
加密数据和数据库连接
审计
用受Kerberos保护的Hadoop集群启用gphdfs认证
安全性最佳实践
配置客户端认证
配置数据库授权
保护数据库
Greenplum数据库端口和协议
关于本文档
工具指南
dblink函数
客户端工具参考
客户端工具摘要
pg_config
createlang
clusterdb
reindexdb
droplang
pg_dumpall
createdb
createuser
psql
dropdb
vacuumdb
pg_restore
pg_dump
dropuser
Oracle兼容性函数
管理工具参考
gpactivatestandby
gpsys1
gpstop
gpcrondump
gpcheckperf
gpscp
gpcheck
gpreload
gpexpand
gpfdist
gpmfr
gplogfilter
gpmapreduce
gpinitstandby
gpstate
gpdeletesystem
gpfilespace
analyzedb
pgbouncer
gptransfer
gpload
gprecoverseg
gpssh-exkeys
gpssh
gpinitsystem
gpaddmirrors
gpperfmon_install
gppkg
gpconfig
gpstart
gpdbrestore
gpseginstall
gpcheckcat
最佳实践
用gptransfer迁移数据
最佳实践概要
模式设计
装载数据
安全性
访问Kerberos化的Hadoop集群
调优SQL查询
系统配置
内存和负载管理
加密数据和数据库连接
高可用性
系统监控和维护
用ANALYZE更新统计信息
监控Greenplum数据库的日志文件
在数据库中管理膨胀
管理员指南
管理一个Greenplum系统
访问数据库
用psql连接
建立一个数据库会话
使用PgBouncer连接池
支持的客户端应用
数据库应用接口
Greenplum数据库客户端应用
连接问题的发现及解决
日常系统维护任务
监控Greenplum系统
配置Greenplum数据库系统
配置参数种类
锁管理参数
Greenplum数据库扩展参数
外部表参数
以往的PostgreSQL版本兼容参数
连接和认证参数
安全性和认证参数
连接参数
数据库和表空间/文件空间参数
Greenplum的Master和Segment镜像参数
系统资源消耗参数
内存消耗参数
操作系统资源参数
基于代价的清理延迟参数
空闲空间映射参数
事务ID管理参数
运行时统计信息收集参数
Greenplum阵列配置参数
分布式事务管理参数
Interconnect配置参数
只读参数
错误操作参数
分派配置参数
错误报告和日志参数
什么时候记录日志
记录什么
日志轮转
自动统计信息收集参数
系统监控参数
Greenplum命令中心代理
SNMP报警
Email报警
数据库表参数
负载管理参数
查询调节参数
数据库统计信息采样参数
查询计划操作符控制参数
传统查询优化器代价参数
排序操作符配置参数
其他传统查询优化器配置参数
GPORCA 配置参数
连接操作符配置参数
聚集操作符配置参数
客户端连接默认参数
语句行为参数
其他客户端默认参数
区域和格式化参数
设置配置参数
设置本地配置参数
设置Master配置参数
在数据库级别设置参数
在系统级别设置参数
在会话中设置参数
在角色级别设置参数
关于Greenplum数据库的Master参数和本地参数
查看服务器配置参数设置
推荐的监控和维护任务
启动和停止Greenplum数据库
扩展Greenplum系统
准备并且增加节点
移除扩展方案
初始化新Segment
重分布表
规划Greenplum系统扩展
系统扩展概述
用gptransfer迁移数据
备份和恢复数据库
用Veritas NetBackup备份数据库
备份处理和锁
使用gpdbrestore恢复数据库
创建增量备份
恢复到不同的Greenplum系统配置
备份表集合
用gpcrondump备份
备份和恢复概述
使用直接I/O
恢复Greenplum数据库
使用命名管道
启用高可用特性
恢复失效的Master
在恢复后还原Master镜像
恢复失效的Segment
从Segment失效中恢复
当一台Segment主机不可恢复时
关于Segment恢复处理
Greenplum数据库高可用性概述
Segment镜像概述
故障检测与恢复概述
Master镜像概述
检测失效的Segment
启用告警和通知
检查失效的Segment
为失效Segment检查日志文件
在Greenplum数据库中启用镜像
启用Master镜像
启用Segment镜像
Greenplum数据库概念
关于管理和监控工具
关于Greenplum的架构
关于Greenplum数据库中的数据库统计信息
关于Greenplum数据库中的并发控制
管理事务ID的例子
关于Greenplum数据库中的冗余和故障切换
关于并行数据装载
使用数据库
管理数据
定义数据库对象
创建和使用序列
创建和管理表
创建和管理视图
创建和管理表空间
创建和管理数据库
在Greenplum数据库中使用索引
选择表存储模型
创建和管理方案
对大型表分区
查询数据
使用XML数据
使用函数和操作符
关于GPORCA
启用和禁用GPORCA
判断被使用的查询优化器
GPORCA概述
GPORCA的限制
GPORCA特性和增强
GPORCA带来的改变
关于统一多级分区表
使用GPORCA时的考虑
关于Greenplum的查询处理
定义查询
管理查询生成的溢出文件
查询画像
查询性能
使用JSON数据
装载和卸载数据
处理装载错误
在错误日志中查看不正确的行
在错误表数据中标识非法CSV文件
在表之间移动数据
定义一个带有单行错误隔离的外部表
捕捉行格式化错误并且声明拒绝极限
在单行错误隔离模式中运行COPY
从Greenplum数据库卸载数据
定义基于命令的可写外部Web表
为Web或者可写外部表禁用EXECUTE
使用可写外部表卸载数据
使用COPY卸载数据
定义基于文件的可写外部表
例 1—Greenplum文件服务器（gpfdist）
例 2—Hadoop文件系统(gphdfs）
用gpload装载数据
使用Hadoop分布式文件系统（HDFS）表
有关gphdfs的JVM内存
对Avro文件的支持
对Parquet文件的支持
一次性HDFS协议安装
HDFS可读和可写外部表实例
例 1 - 从HDFS读取自定义格式数据
MapReduce示例代码
例 2 - 从Greenplum数据库写自定义格式的数据到HDFS
MapReduce代码示例
运行CREATE EXTERNAL TABLE
为HDFS协议授予特权
在外部表定义中指定HDFS数据
为Hadoop可写外部表设置压缩选项
读写自定义格式的HDFS数据
将Amazon EMR用于安装在AWS上的Greenplum数据库
创建外部表 - 例子
例 10—使用XML转换的可读写外部表
例 4—带错误日志的单gpfdist实例
例 1—单NIC机器上的单gpfdist实例
例 3—多gpfdists实例
例 2—多gpfdist实例
例 6—多个有头部行的CSV格式文件
例 9—使用脚本的可写外部Web表
例 5—一个Hadoop分布式文件服务器上的TEXT格式
例 7—使用脚本的可读外部Web表
例 8—使用gpfdist的可写外部表
转换XML数据
传输和存储数据
用INSERT INTO SELECT FROM转换
配置文件格式
用GPLOAD转换
XML转换示例
例 3 - WITSML™ 文件 （在demo目录中）
例 2 - IRS MeF XML 文件（在demo目录中）
基于命令的外部Web表
装载数据
编写转换
确定转换方案
编写gpfdist配置
优化数据装载和查询性能
用COPY装载数据
使用外部表装载数据
创建并使用外部Web表
基于命令的外部Web表
基于URL的外部Web表
格式化数据文件
字符编码
格式化列
表示NULL值
格式化行
Escaping
在文本格式的文件中转义
在CSV格式的文件中转义
装载和写入非HDFS自定义数据
使用一种自定义格式
导入和导出固定宽度的数据
例子：读取宽度固定的数据
使用自定义协议
使用基于文件的外部表
file://协议
访问基于文件的外部表
gphdfs://协议
gpfdist://协议
处理外部表数据中的错误
gpfdists://协议
s3://协议
使用自定义协议
使用Greenplum的并行文件服务器（gpfdist）
安装gpfdist
控制Segment并行
有关gpfdist设置和性能
启动和停止gpfdist
解决gpfdist的问题
自定义数据访问协议实例
安装外部表协议
gpextprotocal.c
管理性能
性能问题的常见原因
检修性能问题
定义数据库性能
用资源队列进行工作负载管理
管理Greenplum数据库访
配置客户端认证
使用带TLS/SSL的LDAP认证
为Linux客户端配置Kerberos
使用Kerberos认证
为Windows客户端配置Kerberos
管理角色和特权
暂无相关搜索结果！
本文档使用
全库网
构建
×
思维导图备注
×
文章二维码
手机扫一扫，轻松掌上读
×
文档下载
请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
PDF
文档
EPUB
文档
MOBI
文档
×
书签列表
×
阅读记录
阅读进度:
0.00%
(
0/0
)
重置阅读进度
我的书签
添加书签
移除书签