元数据备份恢复和 DistSQL 转换功能解读

素年锦时静待君丶

发布于 2023-5-18 11:42

浏览

0收藏

背景

DistSQL（Distributed SQL）是 Apache ShardingSphere 特有的操作语言，它让用户可以像操作数据库一样操作 ShardingSphere，带来了方便又强大的动态管理能力。

有了 DistSQL [1] 之后，我们能够在线定义各种资源和规则，再也不必面对「修改 YAML 文件 + 重启系统」的压力了。

Q & A

随着 DistSQL 能力的增强，用户使用越来越多，也提出了一些关于 DistSQL 的疑问。其中一部分与今天的主题有关，归纳如下：

🔍 DistSQL 定义的规则保存在哪里？

✍️ DistSQL 定义的规则保存在治理中心。在集群模式下，治理中心可以是 ZooKeeper 或者 etcd；在单机模式下，用户也可以指定持久化方式，缺省值是 H2 非持久化模式。推荐用户使用集群模式。

🔍 当有多个测试环境时，怎么把 DistSQL 定义的配置转移到新的环境？

✍️ 无论是单机还是集群模式，将治理中心的数据备份转移到新的环境是比较麻烦的。DistSQL 提供 EXPORT 语法，能够将逻辑库配置导出为 YAML 格式，方便用户迁移。

🔍 我们有定时备份数据的要求，请问逻辑库的配置怎么备份？我是用 DistSQL 定义的。

✍️ 与前一问相同，用 EXPORT 导出为 YAML 文件即可作为备份。

🔍 YAML 格式放到新的 ShardingSphere 实例下，要重启生效吗？

✍️ EXPORT 语句导出的 YAML 文件可以直接放在 Proxy 的 conf 目录下，如果 Proxy 正在运行，则需要重启才能生效。更方便的方式是通过执行 IMPORT 语句，让 Proxy 从 YAML 加载数据后写入治理中心，这种方式是动态生效的，无需重启。

🔍 我配置了分片和读写分离规则，查询的时候只能分别 show [2][3] 吗？有办法一起展示出来吗？

✍️ EXPORT 语句也可以用于快速查看逻辑库配置，当不指定 TO FILE 参数时，EXPORT 的结果输出在查询结果集中。

🔍 DistSQL 看起来很好，但我以前用 YAML 配置的，不会写 DistSQL 语法，有人可以教我吗？

✍️ 社区贴心的准备了 CONVERT 语法，帮助用户将 YAML 转换为 DistSQL 语句，可以对照学习或直接复制执行。

在以上问题的解答中，我们看到了 EXPORT、IMPORT 和 CONVERT 这几个语法，它们的作用是什么，有哪些具体用法？ 现在，就让我们开始今天的解读吧！

语法排查

EXPORT DATABASE CONFIGURATION

用于将逻辑库的配置（含数据源和规则）导出为 YAML 格式。

EXPORT DATABASE CONFIGURATION (FROM databaseName)? (TO FILE filePath)?

说明如下：

▪️FROM databaseName 用于指定要导出的逻辑库；

▪️未指定 FROM databaseName 时，导出当前使用的逻辑库；

▪️当指定 TO FILE filePath 参数时，导出信息将输出到目标文件中。

▪️若文件不存在，会自动创建；若文件已存在，将会被覆盖；
▪️filePath 为 STRING 类型。

IMPORT DATABASE CONFIGURATION

用于将 YAML 中的配置（含数据源和规则）

导入到当前逻辑库中

IMPORT DATABASE CONFIGURATION FROM FILE filePath

说明如下：

▪️ 待导入的文件必须符合 Proxy 的 YAML 配置格式。
▪️ 导入目标必须是空的逻辑库，即当前使用的逻辑库中不存在存储节点和规则配置；
▪️ 文件中必须包含 databaseName 并且与当前操作的逻辑库名一致。
▪️ 文件中必须包含 dataSources 存储资源配置；
▪️ filePath 为 STRING 类型。

CONVERT YAML CONFIGURATION

用于将 YAML 配置转换为对应的 DistSQL 语句。

CONVERT YAML CONFIGURATION FROM FILE filePath

说明如下：

▪️ 待转换的文件必须符合 Proxy 的 YAML 配置格式；
▪️ filePath 为 STRING 类型

实战演练

本次演示以 MySQL 场景为例，ShardingSphere-Proxy 部署为集群模式。

环境准备

在 MySQL 中创建两个库 demo_ds_0 和 demo_ds_1；
启动 ZooKeeper 服务；
在 ShardingSphere-Proxy 的 server.yaml 中配置 mode 信息，并启动 [4]。

`配置逻辑库`

创建逻辑库

    CREATE     DATABASE sharding_db;
    USE sharding_db;

注册存储节点

REGISTER STORAGE UNIT ds_0 (
    URL="jdbc:mysql://127.0.0.1:3306/demo_ds_0?serverTimezone=UTC&useSSL=false",
    USER="root",
    PASSWORD="123456",
    PROPERTIES("maximumPoolSize"=10)
),ds_1 (
    URL="jdbc:mysql://127.0.0.1:3306/demo_ds_1?serverTimezone=UTC&useSSL=false",
    USER="root",
    PASSWORD="123456",
    PROPERTIES("maximumPoolSize"=10)
);

创建分片规则

CREATE SHARDING TABLE RULE t_order (
STORAGE_UNITS(ds_0,ds_1),
SHARDING_COLUMN=order_id,TYPE(NAME=MOD,PROPERTIES("sharding-count"=4)),
KEY_GENERATE_STRATEGY(COLUMN=order_id,TYPE(NAME="snowflake"))
);

操作流程如下：

元数据备份恢复和 DistSQL 转换功能解读-鸿蒙开发者社区

通过以上操作，我们动态的创建了一个逻辑库 sharding_db，其存储节点信息和分片规则都将保存在治理中心 ZooKeeper 中。

`EXPORT DATABASE CONFIGURATION`

仅查看配置

EXPORT DATABASE CONFIGURATION;
# 或
EXPORT DATABASE CONFIGURATION FROM sharding_db;

执行示例

mysql> EXPORT DATABASE CONFIGURATION;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| result                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| databaseName: sharding_db
dataSources:
  ds_1:
    password: 123456
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    minPoolSize: 1
    connectionTimeoutMilliseconds: 30000
    maxLifetimeMilliseconds: 2100000
    readOnly: false
    idleTimeoutMilliseconds: 60000
    maxPoolSize: 10
  ds_0:
    password: 123456
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    minPoolSize: 1
    connectionTimeoutMilliseconds: 30000
    maxLifetimeMilliseconds: 2100000
    readOnly: false
    idleTimeoutMilliseconds: 60000
    maxPoolSize: 10
rules:
- !SHARDING
  autoTables:
    t_order:
      actualDataSources: ds_0,ds_1
      keyGenerateStrategy:
        column: order_id
        keyGeneratorName: t_order_snowflake
      logicTable: t_order
      shardingStrategy:
        standard:
          shardingAlgorithmName: t_order_mod
          shardingColumn: order_id
  keyGenerators:
    t_order_snowflake:
      type: snowflake
  shardingAlgorithms:
    t_order_mod:
      props:
        sharding-count: '4'
      type: mod
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.03 sec)

执行 EXPORT DATABASE CONFIGURATION 后，逻辑库配置就以经典的 YAML 格式呈现出来了。

`输出到 YAML 文件`

EXPORT DATABASE CONFIGURATION TO FILE '/Users/xx/sharding_db.yaml';
# 或
EXPORT DATABASE CONFIGURATION FROM sharding_db TO FILE '/Users/xx/sharding_db.yaml';

执行示例

mysql> EXPORT DATABASE CONFIGURATION TO FILE '/Users/xxx/sharding_db.yaml';
+------------------------------------------------------------------+
| result                                                           |
+------------------------------------------------------------------+
| Successfully exported to：'/Users/xxx/sharding_db.yaml'  |
+------------------------------------------------------------------+
1 row in set (0.01 sec)

加上 TO FILE 参数之后，EXPORT DATABASE CONFIGURATION 的结果就输出到了指定的文件中。下图展示了 sharding_db.yaml 的内容：

元数据备份恢复和 DistSQL 转换功能解读-鸿蒙开发者社区

`IMPORT DATABASE CONFIGURATION`

在导出成功之后，我们可以使用 sharding_db.yaml 在任意的 ShardingSphere-Proxy 中进行导入操作。为了方便演示，我们将当前元数据中的 sharding_db 删除，并通过 IMPORT 语句进行导入。

`准备新库`

USE shardingsphere;
DROP DATABASE sharding_db;
CREATE DATABASE sharding_db;
EXPORT DATABASE CONFIGURATION FROM sharding_db;

执行示例

mysql> USE shardingsphere;
Database changed

mysql> DROP DATABASE sharding_db;
Query OK, 0 rows affected (0.02 sec)

mysql> CREATE DATABASE sharding_db;
Query OK, 0 rows affected (0.02 sec)

mysql> EXPORT DATABASE CONFIGURATION FROM sharding_db;
+----------------------------+
| result                     |
+----------------------------+
| databaseName: sharding_db
 |
+----------------------------+
1 row in set (0.01 sec)

通过以上操作，我们创建了一个新的逻辑库 sharding_db，该逻辑库中没有任何配置信息。

`导入逻辑库`

USE sharding_db;
IMPORT DATABASE CONFIGURATION FROM FILE '/Users/xx/sharding_db.yaml';

执行示例

mysql> USE sharding_db;
Database changed

mysql> IMPORT DATABASE CONFIGURATION FROM FILE '/Users/xx/sharding_db.yaml';
Query OK, 0 rows affected (1.06 sec)

这样，我们就将导出的逻辑库配置恢复到了在线的 ShardingSphere-Proxy 中，简单方便。想要检查导入的结果，也可以通过 SHOW 和 EXPORT DATABASE CONFIGURATION 语句进行确认。

`CONVERT YAML CONFIGURATION`

在 EXPORT 和 IMPORT 的基础上，CONVERT YAML CONFIGURATION 语法为我们带来了更多可能：

帮助习惯 YAML 的用户过渡到 DistSQL 动态管理；
对于不方便拷贝文件进行导入的场景，可以将导出的 YAML 转换为 DistSQL，通过 SQL 客户端来迁移配置；

接下来，让我们把 EXPORT 导出的 sharding_db.yaml 转换为 DistSQL：

CONVERT YAML CONFIGURATION FROM FILE '/Users/xx/sharding_db.yaml';

执行示例

mysql> CONVERT YAML CONFIGURATION FROM FILE '/Users/xx/sharding_db.yaml';
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| dist_sql                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| CREATE DATABASE sharding_db;
USE sharding_db;

REGISTER STORAGE UNIT ds_1 (
URL='jdbc:mysql://127.0.0.1:3306/demo_ds_1?serverTimezone=UTC&useSSL=false',
USER='root',
PASSWORD='123456',
PROPERTIES('minPoolSize'='1', 'connectionTimeoutMilliseconds'='30000', 'maxLifetimeMilliseconds'='2100000', 'readOnly'='false', 'idleTimeoutMilliseconds'='60000', 'maxPoolSize'='10')
), ds_0 (
URL='jdbc:mysql://127.0.0.1:3306/demo_ds_0?serverTimezone=UTC&useSSL=false',
USER='root',
PASSWORD='123456',
PROPERTIES('minPoolSize'='1', 'connectionTimeoutMilliseconds'='30000', 'maxLifetimeMilliseconds'='2100000', 'readOnly'='false', 'idleTimeoutMilliseconds'='60000', 'maxPoolSize'='10')
);

CREATE SHARDING TABLE RULE t_order (
STORAGE_UNITS(ds_0,ds_1),
SHARDING_COLUMN=order_id,
TYPE(NAME='mod', PROPERTIES('sharding-count'='4')),
KEY_GENERATE_STRATEGY(COLUMN=order_id, TYPE(NAME='snowflake'))
);

 |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.01 sec)

结语

到这里，元数据导出、导入和 YAML 转 DistSQL 的功能就解读完毕了，相信读者也能再次感受到 DistSQL 带来的方便和灵活。关于 DistSQL 的更多信息，请关注官网文档 [1] 和 GitHub [5]。如果读者对 Apache ShardingSphere 有任何疑问或建议，欢迎在 GitHub issue 列表提出，或可前往中文社区 [6] 交流讨论。

🔗 参考

[1] DistSQL 文档：https://shardingsphere.apache.org/document/5.3.1/cn/user-manual/shardingsphere-proxy/distsql/
[2] SHOW SHARDING TABLE RULE：https://shardingsphere.apache.org/document/5.3.1/cn/user-manual/shardingsphere-proxy/distsql/syntax/rql/rule-query/sharding/show-sharding-table-rule/
[3] SHOW READWRITE_SPLITTING RULE：https://shardingsphere.apache.org/document/5.3.1/cn/user-manual/shardingsphere-proxy/distsql/syntax/rql/rule-query/readwrite-splitting/show-readwrite-splitting-rule/
[4] 使用 ShardingSphere-Proxy 二进制发布包：https://shardingsphere.apache.org/document/5.3.1/cn/user-manual/shardingsphere-proxy/startup/bin/
[5] GitHub issue 列表：https://github.com/apache/shardingsphere/issues
[6] 中文社区：OpenSEC - SphereEx 中文社区|开源异构分布式数据服务交流平台 - SphereEx 中文社区

文章转载自公众号： ShardingSphere官微

分类

其他

标签

ShardingSphere

已于2023-5-18 11:42:47修改

51CTO

51CTO博客

51CTO学堂

元数据备份恢复和 DistSQL 转换功能解读

背景

Q & A

🔍 DistSQL 定义的规则保存在哪里？

🔍 当有多个测试环境时，怎么把 DistSQL 定义的配置转移到新的环境？

🔍 我们有定时备份数据的要求，请问逻辑库的配置怎么备份？我是用 DistSQL 定义的。

🔍 YAML 格式放到新的 ShardingSphere 实例下，要重启生效吗？

🔍 我配置了分片和读写分离规则，查询的时候只能分别 show [2][3] 吗？有办法一起展示出来吗？

🔍 DistSQL 看起来很好，但我以前用 YAML 配置的，不会写 DistSQL 语法，有人可以教我吗？

语法排查

EXPORT DATABASE CONFIGURATION

IMPORT DATABASE CONFIGURATION

CONVERT YAML CONFIGURATION

实战演练

环境准备

`配置逻辑库`

`EXPORT DATABASE CONFIGURATION`

`输出到 YAML 文件`

`IMPORT DATABASE CONFIGURATION`

`准备新库`

`导入逻辑库`

`CONVERT YAML CONFIGURATION`

结语

🔗 参考

目录

订阅鸿蒙技术特刊，精选内容抢先看

51CTO

51CTO博客

51CTO学堂

元数据备份恢复和 DistSQL 转换功能解读

背景

Q & A

🔍 DistSQL 定义的规则保存在哪里？

🔍 当有多个测试环境时，怎么把 DistSQL 定义的配置转移到新的环境？

🔍 我们有定时备份数据的要求，请问逻辑库的配置怎么备份？我是用 DistSQL 定义的。

🔍 YAML 格式放到新的 ShardingSphere 实例下，要重启生效吗？

🔍 我配置了分片和读写分离规则，查询的时候只能分别 show [2][3] 吗？有办法一起展示出来吗？

🔍 DistSQL 看起来很好，但我以前用 YAML 配置的，不会写 DistSQL 语法，有人可以教我吗？

语法排查

EXPORT DATABASE CONFIGURATION

IMPORT DATABASE CONFIGURATION

CONVERT YAML CONFIGURATION

实战演练

环境准备

​​配置逻辑库​​

​​EXPORT DATABASE CONFIGURATION​​

​​输出到 YAML 文件​​

​​IMPORT DATABASE CONFIGURATION​​

​​准备新库​​

​​导入逻辑库​​

​​CONVERT YAML CONFIGURATION​​

结语

🔗 参考

目录

订阅鸿蒙技术特刊，精选内容抢先看

`配置逻辑库`

`EXPORT DATABASE CONFIGURATION`

`输出到 YAML 文件`

`IMPORT DATABASE CONFIGURATION`

`准备新库`

`导入逻辑库`

`CONVERT YAML CONFIGURATION`