1、关于Elasticsearch8.XIK分词插件相关问题球友在ElasticSearch版本选型问题中提及:如果要使用ik插件,是不是就使用目前最新的IK对应elasticsearch的版本“8.8.2”?https:github.commedclelasticsearchanalysisikreleasestagv8.8.2如果要使用最新es版本,而IK没有对应的,老师有推荐的其他类似插件吗?谢谢!——问题来源:https:t.zsxq.com13YX8fFQy2、说一下Elasticsearch中文分词插件IKAnalyzer描述:基于词典的...
2023-12-04 15:40:33 1793浏览 0点赞 0回复 0收藏
1、reindex相关问题1.1问题描述我有1tb的一个大索引若干,要迁移到另外一个新集群去,有没有好办法?reindex好像会中断......reindex是不是就算设置了频率也会莫名的中断,而且没地方查到错误?1000多万的数据,大概80Greindex有时候都会莫名的断。有时候是全的,有时候不全。1.2问题认知对于大型索引的迁移问题,迁移1TB大小的索引,尤其是在保持服务不中断的情况下,是一项挑战。Reindex...
2023-12-04 15:34:09 2233浏览 0点赞 0回复 0收藏
这里没有理论,只有验证后的结论和体验。前提:这是8.11版本的新功能,必须提前安装最新8.11版本。1、对比参考实现1.1DSL原始语法POSTkibanasampledataecommercesearch1.2ESQL检索语法,类似SQL实现POSTqueryformattxt{"query":"""FROMkibanasampledataecommerce"""}输出如下:1.1和1.2等价。1.3DSL常规检索+排序POSTkibanasampledataecommercesearch{"size":3,"query":{"range":{"products.price":{"gte":50}}},"sort":[{"prod...
2023-12-04 15:30:48 3503浏览 0点赞 0回复 0收藏
1、实战问题我只想插入大量的测试数据,不是想测试性能,有没有自动办法生成TB级别的测试数据?有工具?还是说有测试数据集之类的东西?2、问题解析其实类似的问题之前在社群也经常被问到。实战业务场景中在没有大规模数据之前,可能会构造生成一些模拟数据,以实现性能测试等用途。真实业务场景一般不愁数据的,包含但不限于:生成数据业务系统产生数据互联网、设备等采集生成的数据其他产生数据的场景.....回归问题,Elastics...
2023-12-04 15:30:13 1840浏览 0点赞 0回复 0收藏
gssdr命令代码解读背景openGauss推出了容灾架构,相比之前的一个集群主从架构,而容灾架构是两个集群间的数据同步。为了更深入了解其原理,本文试图通过阅读gssdr命令相关的代码来学习下相关的各种操作。1.容灾搭建过程可以参考:https:www.modb.prodb6287672.vscode调试配置可以参考:https:www.modb.prodb6583443.个人学习记录,理解不一定完全正确。如有错误,可指出一起探讨环境准备安装集群安装两套集群,...
2023-10-30 11:34:10 2321浏览 0点赞 0回复 0收藏
一、单索引推荐单索引推荐功能,目前支持select查询,看官方介绍类似oracle中的sqltunningadviser,不过只是推荐创建索引。根据sql优化原理,猜测应该时根据选择来推荐索引。1、查看sqlPanWeiDBcreatetablet2asselectfrompgtables;INSERT0138创建测试表PanWeiDBselect"table","column"fromgsindexadvise('selectschemanamefromt2wheretablename''t2'';');tablecolumn+t2tablename(1row)调用推荐函数的地方需要注意最后面几个分号...
2023-10-30 11:32:45 2178浏览 0点赞 0回复 0收藏
前言写此文章的目的,主要是验证:openGauss5.0.0数据库能够实现哪种加密方式的全密态全密态数据库的特点一、全密态介绍全密态数据库意在解决数据全生命周期的隐私保护问题,使得系统无论在何种业务场景和环境下,数据在传输、运算以及存储的各个环节始终都处于密文状态。当数据拥有者在客户端完成数据加密并发送给服务端后,在攻击者借助系统脆弱点窃取用户数据的状态下仍然无法获得有效的价值信息,从而起到保护数据隐私的能...
2023-10-30 11:24:16 1978浏览 0点赞 0回复 0收藏
一.环境准备已搭建openGauss一主两备集群(企业版5.0),环境如下:主机IP主机名节点类型10.100.10.92yf1主节点10.100.10.93yf2备节点10.100.10.94yf3备节点二.gsdropnode删除集群备节点拟删除10.100.10.94节点。1.前提条件删除备节点的操作只能在主节点上执行;执行删除操作前,确保主节点和备节点之间建立好omm(数据库管理用户)用户的互信;需要使用数据库管理用户执行该命令;如果数据库是分离环境,则需要先source导入...
2023-10-30 11:23:41 2345浏览 0点赞 0回复 0收藏
一、下载openEuler22.03LTSopenEuler22.03LTS下载地址:https:www.openeuler.orgzhdownload二、下载openGauss5.0.0openGauss5.0.0企业版数据库下载地址:https:opengauss.orgzhdownload三、环境准备1、硬件环境要求2、软件环境要求3、依赖包要求dnfyinstalllibaiodevelflexbisonncursesdevelglibcdevelpatchreadlinedevellibnslpython3redhatlsbcore这有个坑:redhatlsbcore这个包直接使用openEuler的源安装redhatlsbcore[rootcl...
2023-10-30 11:23:06 5008浏览 0点赞 0回复 0收藏
测试版本本测试基于openGauss版本的psycopg2驱动。importpsycopg2aspg>>>pg.libpqversion90204>>>pg.version'2.8.6(dtdecpq3ext)'测试环境组件说明客户端RockyLinux8虚拟机数据库openGauss3.0.3indocker网络本地回路网卡Python3.6.8测试接口接口名说明备注cursor.executemany(query,varslist)执行一个数据库操作,varslist列表中的所有参数会逐个被应用到query中,每组参数都会单独封包发送给服务端。该函数主要用于更新数据库...
2023-10-30 11:22:23 1547浏览 0点赞 0回复 0收藏
介绍使用vscode的远程调试数据库服务器om代码,熟悉om代码。特别说明vscode安装在本地windows上.om是用python3开发的.由于vscode的限制,python3的版本需要在3.7及以上才可以使用调试功能,所以本次使用openEuler20.03系统来操作。安装openGauss执行安装脚本,安装单节点数据库。.oginstallv10.pyudebuggdebug安装在已有的debug用户下。oginstallv10.py是自己日常使用的一个数据库集群安装脚本,安装可以参考官方文档https:docs...
2023-10-30 11:21:50 1745浏览 0点赞 0回复 0收藏
openGauss5.0.0在资源管控方面有了显著的提升。在原生的PostgreSQL中其实并没有资源管控特性,但是在EDB版本,及其他云厂的PG中,增加了资源管控能力,对于Serverless时代的数据库而言,资源管控能力是非常重要的,因为它可以直接影响系统的性能和稳定性,通过资源管理可以来均衡业务流对数据库资源的利用,或控制不同用户的资源分配。本文将重点介绍openGauss5.0.0的资源管控功能。概念综述openGauss5.0.0的资源管控功能体现在...
2023-10-30 11:21:24 1704浏览 0点赞 0回复 0收藏
摘要:在DBA的日常工作中,快速部署数据库高可用架构,且标准化地入网部署数据库是一项重要的基础任务。本文将介绍常见的部署MGR的方式,并重点介绍万里数据库的GreatADM数据库管理平台进行图形化、可视化、标准化的部署过程,以提高交付效率和质量,给DBA提供一种全新的体验。(本文阅读大约需要46分钟)引言常见的数据库入网交付的方式和各自优缺点方式一:手动部署这是最基本的部署方式,需要手动在每个节点上安装、配置cnf...
2023-08-30 11:58:01 1886浏览 0点赞 0回复 0收藏
1.说在前面的话2.安装employees测试库3.观测SQL运行状态3.1观测SQL运行时的内存消耗3.2观测SQL运行时的其他开销3.3观测SQL运行进度感知SQL运行时的状态1.说在前面的话在MySQL里,一条SQL运行时产生多少磁盘IO,占用多少内存,是否有创建临时表,这些指标如果都能观测到,有助于更快发现SQL瓶颈,扑灭潜在隐患。从MySQL5.7版本开始,performanceschema就默认启用了,并且还增加了sysschema,到了8.0版本又进一...
2023-08-30 11:57:07 2429浏览 0点赞 0回复 0收藏
一、引言1.1什么是MySQLShellMySQLShell是MySQL的一个高级客户端和代码编辑器,是第二代MySQL客户端。第一代MySQL客户端即我们常用的MySQL。除了提供类似于MySQL的SQL功能外,MySQLShell还提供JavaScript和Python脚本功能,并包括与MySQL一起使用的API。MySQLShell除了可以对数据库里的数据进行操作,还可以对数据库进行管理,特别是对MGR的支持,使用MySQLShell可以非常方便的对MGR进行搭建、管理、配置等1.2什么是MySQLShellf...
2023-08-30 11:56:28 2183浏览 0点赞 0回复 0收藏
1、背景公司内部看到一则问题1、kill9mysqldsafe进程2、systemd检测到mysqldsafe进程不存在后,重新拉起mysqldsafe进程3、mysqldsafe进程启动后,发现mysqld进程也被重启期望:启、停mysqldsafe进程,不会影响mysqld进程2、systemd服务启动2.1、复现问题1)、查看数据库服务状态[greatsqlgreatsql1]$sudosystemctlstatusdb4306●db4306.servicedb4306ServerLoaded:loaded(usrlibsystemdsystemdb4306.service;disabled;vendorpres...
2023-08-30 11:56:00 2089浏览 0点赞 0回复 0收藏
一、前言原有的业务系统跑在MySQL主从架构中,高可用通过脚本完成,但存在切换数据丢失和切换不及时风险,调研了高可用更稳定的MGR后,准备入手一试。本篇文章主要记录GreatSQL从单机扩展到MGR的详细过程,遇到的问题及解决方法。二、基础环境服务器角色如下IP端口主机名作用172.17.140.253310gdb1原单机172.17.140.243310gdb2MGR扩展节点1172.17.139.1643310gdb3MGR扩展节点2本次验证使用的是GreatSQL8.0.3224版本,相比MySQL...
2023-08-30 11:55:36 2034浏览 0点赞 0回复 0收藏
前言说到MySQL的MTS,相信很多同学都不陌生,从5.6开始基于schema的并行回放,到5.7的LOGICALCLOCK支持基于事务的并行回放,这些内容都有文章讲解,在本篇文章不再赘述。今天要讲的是,你知道如何查看并行回放是否存在性能瓶颈吗,是由于主库事务行为导致无法并行回放,还是由于worker线程不足,限制了并行回放的天花板?这都得从一个Note信息说起。MY010559在开启了多线程回放的从库errorlog,我们经常能看到Note级别的日志信...
2023-08-30 11:55:07 1983浏览 0点赞 0回复 0收藏
1、问题描述用户showgrants显示只有连接权限,但该用户却能执行sbtest.下的所有操作GreatSQL>\s...Serverversion:8.0.3224GreatSQL,Release24,Revision3714067bc8c...GreatSQL>showgrants;++Grantsforuser1172.%++GRANTUSAGEON.TOuser1172.%++1rowinset(0.00sec)GreatSQL>selectfromsbtest.sbtest1limit1;+++++idkcpad+++++12505073942347759896895752911215503342507137131003454727381253072726761288302500348844794...
2023-08-30 11:31:37 2087浏览 0点赞 0回复 0收藏
1.概述MySQL8.0.22开始,支持异步连接故障切换机制,在现有主从复制连接失败后,自动建立到新主的异步复制连接。MySQL8.0.23开始,异步连接故障切换机制还支持组复制拓扑,通过自动监视组成员身份的更改并区分主节点和从节点,在组复制主节点故障选出新主节点后,自动建立到新主的异步复制连接。MySQL8.0.26开始,组复制可以设置组成员在特定情况下采取的操作,比如成员操作mysqldisablesuperreadonlyifprimary当选择一...
2023-08-30 11:31:10 1979浏览 0点赞 0回复 0收藏