快速开始

    Doris 运行在 Linux 环境中,推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本,同时你需要安装 Java 运行环境(JDK最低版本要求是8),要检查你所安装的 Java 版本,请运行以下命令:

    接下来,,然后解压。

    我们进入到 apache-doris-x.x.x/fe 目录

    1. cd apache-doris-x.x.x/fe

    修改 FE 配置文件 conf/fe.conf ,这里我们主要修改两个参数:priority_networksmeta_dir ,如果你需要更多优化配置,请参考 FE 参数配置说明,进行调整。

    1. 添加 priority_networks 参数
    1. priority_networks=172.23.16.0/24
    1. 添加元数据目录
    1. meta_dir=/path/your/doris-meta

    注意:

    这里你可以不配置,默认是在你的Doris FE 安装目录下的 doris-meta,

    单独配置元数据目录,需要你提前创建好你指定的目录

    在 FE 安装目录下执行下面的命令,来完成 FE 的启动。

    1. ./bin/start_fe.sh --daemon

    查看 FE 运行状态

    你可以通过下面的命令来检查 Doris 是否启动成功

    1. curl http://127.0.0.1:8030/api/bootstrap

    这里 IP 和 端口分别是 FE 的 IP 和 http_port(默认8030),如果是你在 FE 节点执行,直接运行上面的命令即可。

    如果返回结果中带有 "msg":"success" 字样,则说明启动成功。

    http:// fe_ip:8030

    可以看到下面的界面,说明 FE 启动成功

    连接 FE

    我们下面通过 MySQL 客户端来连接 Doris FE,下载免安装的 MySQL 客户端

    解压刚才下载的 MySQL 客户端,在 bin/ 目录下可以找到 mysql 命令行工具。然后执行下面的命令连接 Doris。

    1. mysql -uroot -P9030 -h127.0.0.1

    注意:

    1. 这里使用的 root 用户是 doris 内置的默认用户,也是超级管理员用户,具体的用户权限查看
    2. -P :这里是我们连接 Doris 的查询端口,默认端口是 9030,对应的是fe.conf里的 query_port
    3. -h : 这里是我们连接的 FE IP地址,如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1,这种也是 Doris 提供的如果你忘记 root 密码,可以通过这种方式不需要密码直接连接登录,进行对 root 密码进行重置

    执行下面的命令查看 FE 运行状态

    然后你可以看到类似下面的结果:

    1. mysql> show frontends\G
    2. *************************** 1. row ***************************
    3. Name: 172.21.32.5_9010_1660549353220
    4. IP: 172.21.32.5
    5. EditLogPort: 9010
    6. HttpPort: 8030
    7. QueryPort: 9030
    8. RpcPort: 9020
    9. Role: FOLLOWER
    10. IsMaster: true
    11. ClusterId: 1685821635
    12. Join: true
    13. Alive: true
    14. ReplayedJournalId: 49292
    15. LastHeartbeat: 2022-08-17 13:00:45
    16. IsHelper: true
    17. ErrMsg:
    18. Version: 1.1.2-rc03-ca55ac2
    19. CurrentConnected: Yes
    20. 1 row in set (0.03 sec)

    停止 FE 节点

    Doris FE 的停止可以通过下面的命令完成

    1. ./bin/stop_fe.sh

    我们进入到 apache-doris-x.x.x/be 目录

    1. cd apache-doris-x.x.x/be

    修改 BE 配置文件 conf/be.conf ,这里我们主要修改两个参数:priority_networks 及 ,如果你需要更多优化配置,请参考 BE 参数配置说明,进行调整。

    1. 添加 priority_networks 参数
    1. priority_networks=172.23.16.0/24
    1. 配置 BE 数据存储目录
    1. storage_root_path=/path/your/data_dir
    1. 默认目录在 BE安装目录的 storage 目录下。
    2. BE 配置的存储目录必须先创建好
    1. 配置 JAVA_HOME 环境变量

    SinceVersion 1.2.0由于从 1.2 版本开始支持 Java UDF 函数,BE 依赖于 Java 环境。所以要预先配置 `JAVA_HOME` 环境变量,也可以在 `start_be.sh` 启动脚本第一行添加 `export JAVA_HOME=your_java_home_path` 来添加环境变量。

    1. 安装 Java UDF 函数

    SinceVersion 1.2.0安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数,需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下,否则可能会启动失败。

    在 BE 安装目录下执行下面的命令,来完成 BE 的启动。

    1. ./bin/start_be.sh --daemon

    添加 BE 节点到集群

    通过MySQL 客户端连接到 FE 之后执行下面的 SQL,将 BE 添加到集群中

    1. ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
    1. be_host_ip:这里是你 BE 的 IP 地址,和你在 be.conf 里的 priority_networks 匹配
    2. heartbeat_service_port:这里是你 BE 的心跳上报端口,和你在 be.conf 里的 heartbeat_service_port 匹配,默认是 9050

    查看 BE 运行状态

    你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

    示例:

    1. mysql> SHOW BACKENDS\G
    2. *************************** 1. row ***************************
    3. BackendId: 10003
    4. Cluster: default_cluster
    5. IP: 172.21.32.5
    6. HeartbeatPort: 9050
    7. BePort: 9060
    8. HttpPort: 8040
    9. BrpcPort: 8060
    10. LastStartTime: 2022-08-16 15:31:37
    11. LastHeartbeat: 2022-08-17 13:33:17
    12. Alive: true
    13. SystemDecommissioned: false
    14. ClusterDecommissioned: false
    15. TabletNum: 170
    16. DataUsedCapacity: 985.787 KB
    17. AvailCapacity: 782.729 GB
    18. TotalCapacity: 984.180 GB
    19. UsedPct: 20.47 %
    20. MaxDiskUsedPct: 20.47 %
    21. Tag: {"location" : "default"}
    22. ErrMsg:
    23. Version: 1.1.2-rc03-ca55ac2
    24. Status: {"lastSuccessReportTabletsTime":"2022-08-17 13:33:05","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
    25. 1 row in set (0.01 sec)
    1. Alive : true表示节点运行正常

    停止 BE 节点

    Doris BE 的停止可以通过下面的命令完成

    1. ./bin/stop_be.sh
    1. 创建一个数据库
    1. create database demo;
    1. 创建数据表
    1. use demo;
    2. CREATE TABLE IF NOT EXISTS demo.example_tbl
    3. (
    4. `city` VARCHAR(20) COMMENT "用户所在城市",
    5. `age` SMALLINT COMMENT "用户年龄",
    6. `sex` TINYINT COMMENT "用户性别",
    7. `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    8. `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    9. `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    10. `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
    11. )
    12. AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
    13. DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
    14. PROPERTIES (
    15. "replication_allocation" = "tag.location.default: 1"
    16. );
    1. 示例数据
    1. 10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
    2. 10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
    3. 10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
    4. 10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
    5. 10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
    6. 10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
    7. 10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

    将上面的数据保存在test.csv文件中。

    1. 导入数据

    这里我们通过Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。

    1. curl --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load
    • -T test.csv : 这里使我们刚才保存的数据文件,如果路径不一样,请指定完整路径
    • -u root : 这里是用户名密码,我们使用默认用户root,密码是空
    • 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

    执行成功之后我们可以看到下面的返回信息

    1. {
    2. "TxnId": 30303,
    3. "Label": "8690a5c7-a493-48fc-b274-1bb7cd656f25",
    4. "TwoPhaseCommit": "false",
    5. "Status": "Success",
    6. "Message": "OK",
    7. "NumberTotalRows": 7,
    8. "NumberLoadedRows": 7,
    9. "NumberFilteredRows": 0,
    10. "NumberUnselectedRows": 0,
    11. "LoadBytes": 399,
    12. "LoadTimeMs": 381,
    13. "BeginTxnTimeMs": 3,
    14. "StreamLoadPutTimeMs": 5,
    15. "ReadDataTimeMs": 0,
    16. "WriteDataTimeMs": 191,
    17. "CommitAndPublishTimeMs": 175
    18. }
    1. NumberLoadedRows: 表示已经导入的数据记录数

    2. : 表示要导入的总数据量

    3. Status :Success 表示导入成功

    到这里我们已经完成的数据导入,下面就可以根据我们自己的需求对数据进行查询分析了。

    到这里我们整个快速开始就结束了,我们从 Doris 安装部署、启停、创建库表、数据导入及查询,完整的体验了Doris的操作流程,下面开始我们 Doris 使用之旅吧。