文件分析
通过 Table Value Function 功能,Doris 可以直接将对象存储或 HDFS 上的文件作为 Table 进行查询分析。并且支持自动的列类型推断。
更多使用方式可参阅 Table Value Function 文档:
- :支持 S3 兼容的对象存储上的文件分析。
这里我们通过 S3 Table Value Function 举例说明如何进行文件分析。
其中指定了文件的路径、连接信息、认证信息等。
之后,通过 语法可以查看这个文件的 Schema。
可以看到,对于 Parquet 文件,Doris 会根据文件内的元信息自动推断列类型。
你可以使用任意的 SQL 语句对这个文件进行分析
Table Value Function 可以出现在 SQL 中,Table 能出现的任意位置。如 CTE 的 WITH 子句中,FROM 子句中。 这样,你可以把文件当做一张普通的表进行任意分析。
配合 INSERT INTO SELECT
语法,我们可以方便将文件导入到 Doris 表中进行更快速的分析: