实例部署：基于 NBD 共享存储

    以两台物理机环境为例，本小节介绍基于 NBD 共享存储的实例构建方法大体如下：

    • 首先，两台主机通过 NBD 共享一个块设备；
    • 然后，两台主机上均部署 PolarDB-FileSystem (PFS) 来初始化并挂载到同一个块设备；
    • 最后，在两台主机上分别部署 PolarDB-for-PostgreSQL 内核，构建主节点、只读节点以形成简单的一写多读实例。

    注意

    操作系统版本要求 CentOS 7.5 及以上。以下步骤在 CentOS 7.5 上通过测试。

    提示

    操作系统内核需要支持 NBD 内核模块，如果操作系统当前不支持该内核模块，则需要自己通过对应内核版本进行编译和加载 NBD 内核模块。

    • 从CentOS 官网下载对应内核源码包并解压：

    • NBD 驱动源码路径位于：；

    • 编译操作系统内核依赖和组件：

      1. cp ../$(uname -r)/Module.symvers ./
      2. make menuconfig # Device Driver -> Block devices -> Set 'M' On 'Network block device support'
      3. make prepare && make modules_prepare && make scripts
      4. make CONFIG_BLK_DEV_NBD=m M=drivers/block

    • 检查是否正常生成驱动：

      1. 拷贝、生成依赖并安装驱动：

        1. cp drivers/block/nbd.ko /lib/modules/$(uname -r)/kernel/drivers/block
        2. depmod -a
        3. modprobe nbd # 或者 modprobe -f nbd 可以忽略模块版本检查

      2. 检查是否安装成功：

        1. # 检查已安装内核模块
        2. lsmod | grep nbd
        3. # 如果NBD驱动已经安装，则会生成/dev/nbd*设备（例如：/dev/nbd0、/dev/nbd1等）
        4. ls /dev/nbd*

      安装 NBD 软件包

      1. yum install nbd

      服务端部署

      1. nbd-server -C /root/nbd.conf

      配置文件 /root/nbd.conf 的内容举例如下：

      1. [generic]
      2.     #user = nbd
      3.     #group = nbd
      4.     listenaddr = 0.0.0.0
      5.     port = 1921
      6. [export1]
      7.     exportname = /dev/vdb
      8.     readonly = false
      9.     multifile = false
      10.     copyonwrite = false
      12.     fua = true
      13.     sync = true

      NBD 驱动安装成功后会看到 /dev/nbd* 设备, 根据服务端的配置把远程块设备映射为本地的某个 NBD 设备即可：

      1. nbd-client x.x.x.x 1921 -N export1 /dev/nbd0
      2. # x.x.x.x是NBD服务端主机的IP地址

      PFS 编译安装

      参见 PFS 的 README实例部署：基于 NBD 共享存储 - 图2

      块设备重命名

      PFS 仅支持特定字符开头的块设备进行访问，建议所有块设备访问节点都通过软链接使用相同名字访问共享块设备。例如，在 NBD 服务端主机上执行：

      在 NBD 客户端主机上执行：

      1. ln -s /dev/nbd0 /dev/nvme0n1

      如此，便可以在服务端和客户端 2 台主机，使用相同的路径 /dev/nvme0n1 来访问同一个块设备。

      在 NBD 服务端执行 PFS 操作来格式化共享块设备即可：

      1. sudo pfs -C disk mkfs nvme0n1

      块设备挂载

      在 NBD 服务端和客户端上，分别启动 PFS，挂载共享盘：

      1. sudo /usr/local/polarstore/pfsd/bin/start_pfsd.sh -p nvme0n1

      注意

      请使用同一个用户进行以下步骤。请勿使用 root 用户搭建实例。

      主节点部署

      内核编译

      1. ./polardb_build.sh --with-pfsd

      节点初始化

      1. $HOME/tmp_basedir_polardb_pg_1100_bld/bin/initdb -D primary
      2. # 共享存储初始化
      3. sudo pfs -C disk mkdir /nvme0n1/shared_data
      4. sudo /home/[$USER]/tmp_basedir_polardb_pg_1100_bld/bin/polar-initdb.sh /home/[$USER]/primary/ /nvme0n1/shared_data/

      节点配置

      打开 postgresql.conf，增加以下配置项：

      1. port=5432
      2. polar_enable_shared_storage_mode=on
      3. polar_disk_name='nvme0n1'
      4. polar_datadir='/nvme0n1/shared_data/'
      5. polar_vfs.localfs_mode=off
      6. shared_preload_libraries='$libdir/polar_vfs,$libdir/polar_worker'
      7. polar_storage_cluster_name='disk'
      8. logging_collector=on
      9. log_line_prefix='%p\t%r\t%u\t%m\t'
      10. log_directory='pg_log'
      11. listen_addresses='*'
      12. max_connections=1000
      1. host    replication    [$USER]    0.0.0.0/0    trust

      启动与检查

      启动：

      1. $HOME/tmp_basedir_polardb_pg_1100_bld/bin/pg_ctl start -D $HOME/primary

      检查：

      只读节点的流复制准备

      创建相应的 replication slot，用于接下来创建的只读节点的物理流复制：

      1. $HOME/tmp_basedir_polardb_pg_1100_bld/bin/psql -p 5432 -d postgres -c "select pg_create_physical_replication_slot('replica1');"

      内核编译

      1. ./polardb_build.sh --with-pfsd

      节点初始化

      1. $HOME/tmp_basedir_polardb_pg_1100_bld/bin/initdb -D replica1

      节点配置

      打开 postgresql.conf，增加以下配置项：

      1. port=5433
      2. polar_hostid=2
      3. polar_enable_shared_storage_mode=on
      4. polar_disk_name='nvme0n1'
      5. polar_datadir='/nvme0n1/shared_data/'
      6. polar_vfs.localfs_mode=off
      7. shared_preload_libraries='$libdir/polar_vfs,$libdir/polar_worker'
      8. polar_storage_cluster_name='disk'
      9. logging_collector=on
      10. log_line_prefix='%p\t%r\t%u\t%m\t'
      11. log_directory='pg_log'
      12. listen_addresses='*'
      13. max_connections=1000

      创建 recovery.conf，增加以下配置项：

      1. polar_replica='on'
      2. recovery_target_timeline='latest'
      3. primary_slot_name='replica1'
      4. primary_conninfo='host=[主节点所在容器的IP] port=5432 user=[$USER] dbname=postgres application_name=replica1'

      启动与检查

      启动：

      1. $HOME/tmp_basedir_polardb_pg_1100_bld/bin/pg_ctl start -D $HOME/replica1

      检查：

        实例检查和测试

        部署完成后，需要进行实例检查和测试，确保主节点可正常写入数据、只读节点可以正常读取。

        登录主节点，创建测试表并插入样例数据：

        1. $HOME/tmp_basedir_polardb_pg_1100_bld/bin/psql -q -p 5432 -d postgres -c "create table t(t1 int primary key, t2 int);insert into t values (1, 1),(2, 3),(3, 3);"

        登录只读节点，查询刚刚插入的样例数据：