openGauss作为一款企业级开源关系型数据库,具有高性能,高可用,高安全,易运维等特点。CM的加入,使openGauss集群在易运维,可靠性等方面进一步提升。CM是什么?CM(ClusterManager)是一款集群资源管理软件。支持自定义资源监控,提供了数据库主备的状态监控、网络通信故障监控、文件系统故障监控、故障自动主备切换等能力。CM能做什么?CM提供了丰富的集群管理能力,如集群、节点、实例级的启停,集群状态查询、选主、主备...
2022-05-13 17:12:07 7470浏览 0点赞 0回复 1收藏
openGauss开机自启动,我们先来了解一下自定义服务的配置文件组成部分,共分为[Unit]、[Service]、[Install]三个部分,下面以centos7.6为例。[Unit]Description当前服务的简单描述Documentation服务配置文件的位置Before在某服务之前启动After在某服务之后启动Wants与某服务存在“依赖”关系,依赖服务退出,不影响本服务运行Requires与某服务存在“强依赖”关系,依赖服务故障,本服务也随之退出[Service]Typesimple(默认值)...
2022-05-13 17:11:57 1.0w浏览 0点赞 0回复 0收藏
导读:PyScript是一种在嵌入HTML,在浏览器中运行Python的方法,上周末在美国盐湖城的PyCon会议中进行了预览展示。五一前夕,数据科学与分析公司Anaconda的首席执行官PeterWang发表了主题演讲,展示了他们刚刚发布的项目,它的名字叫做:“PyScript”。Nvidia的机器学习工程师BojanTunguz指出:“这是我们Python社区中的许多人长期以来一直希望干的事情。”前几天该项目网站中还有一个“Install”按钮,如果不是为了占位置,也...
2022-05-13 17:11:51 7494浏览 0点赞 0回复 0收藏
【新智元导读】每个人的心目中都有自己最喜欢的编程问题。这次,我们先跟着这位大佬去数据库的世界里溜一圈看看。在Github上,一位名叫ArthurO’Dwyer的用户,经常发表关于C++编程语言方面的东西。最近,他分享了一次发生在2013年的软件工程面试经历。如今,9年时间已过,他却对此记忆犹新。Dwyer表示,这道题可以说是大多数真实世界编程的一个缩影。就比如说,当你维护一个庞大的代码库时,总会有一些你不完全理解的代码...
2022-05-13 17:11:45 5220浏览 0点赞 0回复 0收藏
数据库函数是一种具有某种功能的模块,可以接收零个或多个输入值,并且返回一个输出值。MySQL为我们提供了许多用于处理和分析数据的系统函数,今天小小继续给大家连载MySQL常用函数——字符函数。1CONCATCONCAT(str1,str2,…)函数用于返回多个字符串连接之后的字符串,例如:SELECTCONCAT('MySQL','字符串','函数');输出:MySQL字符串函数2LOWERLOWER(str)和LCASE(str)函数用于将字符串转换为小写形式,例如:SELECTLOWER...
2022-05-13 17:11:35 9435浏览 0点赞 0回复 0收藏
一、测试环境概述1.机器配置配置截图两台华为云ECS,kc1.xlarge.4,规格4c16g,openEuler20.03系统。二、安装openGauss详情请见openGauss官网:https:opengauss.orgzh三、修改内网地址1.修改ECSIP修改IP前要解绑NAT,关闭服务器。修改IP另一台同样操作2.开机3.恢复NAT四、数据库端操作1.直接启动数据库发现报错[ommecs0001]$gsomtstartStartingcluster.[GAUSS51400]:Failedtoexecutethecommand:scpecs0002:appdataappopengaussf...
2022-05-13 17:11:28 7249浏览 0点赞 0回复 0收藏
数据库与AI结合起来会迸发出什么样的火花?不同的数据库厂商、开源社区、高校师生们的理解也都不尽相同。虽然在精确的概念上难以形成统一的标准,但是在总体的演进思路上却是一致的。对于openGauss来说,自从在社区开源第一个版本开始,openGauss便不断地在该领域演进并贡献代码,对于此次开源的openGauss3.0.0版本来说也不例外。在3.0.0版本中,openGauss的AI领域将在多个方向演进:1.整合现有AI4DB功能,开源openGauss数据库...
2022-05-13 17:08:31 6095浏览 0点赞 0回复 0收藏
导言在信息技术飞速发展的今天,各种类型数据库层出不穷。由于支持数据在异构数据库间同步,逻辑复制的重要性与日俱增。当前openGauss逻辑复制串行解码平均性能为35MBps,在业务压力大的场景下难以满足实时同步的需求,导致日志堆积,从而影响生产集群业务。因此,我们设计了并行解码特性,令多个线程协同并行解码从而提高解码性能,在基础场景下解码性能可达到100MBps.设计思路——为什么考虑并行解码?原有的串行解码逻辑,从...
2022-05-13 17:08:30 5060浏览 0点赞 0回复 0收藏
近日,ApacheShardingSphere社区与openGauss社区再度展开合作,ApacheShardingSphere+openGauss的分布式解决方案,突破了单机性能瓶颈,使用16台服务器在超过1小时的测试中,得到了平均超过1000万tpmC的结果。ShardingSphere+openGauss,达成1000万tpmC在本次测试中,openGauss社区基于标准BenchmarkSQL5.0工具,进行本轮TPCC测试。在单机性能方面,openGauss突破了多核CPU的瓶颈,实现两路鲲鹏128核达到150万tpmC,内存优化表(...
2022-05-13 17:08:28 6547浏览 0点赞 0回复 0收藏
上篇图文openGauss数据库源码解析系列文章——存储引擎源码解析(三)中,从行存储缓存机制、cstore、日志系统三方面对磁盘引擎进行了分享,本篇将介绍磁盘引擎的持久化及故障恢复机制及主备机制,此外,还将对内存表的总体架构和代码概述、FDW两点展开详细介绍。(八)持久化及故障恢复机制1.行存储持久化和检查点机制如“日志系统”小节中所述,通过采用WAL日志的方式可以在对性能影响较小的情况下保障用户事务对数据库修改的...
2022-05-13 17:08:27 7797浏览 0点赞 0回复 0收藏
上篇图文openGauss数据库源码解析系列文章——存储引擎源码解析(二)中,从astore和行存储索引机制两点对磁盘引擎进行了分享,本篇接着从磁盘引擎的行存储缓存机制、cstore、日志系统三方面展开介绍。(五)行存储缓存机制行存储缓存加载和淘汰机制如图1所示。图1行存储缓存和淘汰机制示意图行存储堆表和索引表页面的缓存和淘汰机制主要包含以下几个部分:1.共享缓冲区内存页面数组下标哈希表用于将远大于内存容量的物理页面与...
2022-05-13 17:08:25 7291浏览 0点赞 0回复 0收藏
在上篇图文openGauss数据库源码解析系列文章——存储引擎源码解析(一)中,介绍了存储引擎整体架构及代码概览和磁盘引擎,其中磁盘引擎从整体框架及代码概览、行存储统一访存接口两点进行了分享,本篇接着从astore和行存储索引机制两方面对磁盘引擎展开介绍。(三)astore1.astore整体框架astore整体框架如图1所示。如上所述,作为行存储子格式之一,astore需要实现自己的堆表存取(访存)管理接口、堆表页面结构、堆表元组结...
2022-05-13 17:08:17 6465浏览 0点赞 0回复 0收藏
OLTP、OLAP业务各自对数据库的存储引擎提出了不同的要求,而openGauss能够支持多个存储引擎来满足来自不同场景的业务诉求。本篇将从存储引擎整体架构及代码概览和磁盘引擎两方面展开介绍,其中磁盘引擎从整体框架及代码概览、行存储统一访存接口两点展开讨论。一、存储引擎整体架构及代码概览从整个数据库服务的组成构架来看,存储引擎向上对接SQL引擎,为SQL引擎提供或接收标准化的数据格式(元组或向量数组);向下对接存储介...
2022-05-13 17:07:26 8482浏览 0点赞 0回复 0收藏
要实现在客户端进行加解密,无疑需要在客户端进行大量维护管理,包括数据密钥管理,敏感数据加密,解析和修改SQL语句等。openGauss将这一系列的复杂操作,全部封装在客户端加密驱动中,实现了完全自动化的敏感信息加密替换,同时在数据库中存储了所有加密相关的元信息,使得数据库可以很好的识别和处理对应的加密数据。同时SQL语句中的敏感信息相关的参数,也会被加密处理,保证查询任务不会泄露用户查询意图,减少客户端的复杂安全管理及...
2022-05-13 17:07:06 7858浏览 1点赞 0回复 0收藏
9月30日,openGauss正式推出重大内核新特性——Ustore存储引擎,为企业级用户提供更高性能的数据库服务,进一步为企业数字化转型注入新动力。同时,也将与众多的数据库内核开发者一道继续探索数据库的理论前沿与最佳实践。Ustore存储引擎,又名InplaceUpdate存储引擎(原地更新),是openGauss内核新增的一种存储模式。openGauss内核此前的版本使用的行存储引擎是AppendUpdate(追加更新)模式。追加更新对于业务中的增、删以及...
2022-05-13 17:04:39 5475浏览 0点赞 0回复 0收藏
1.openGaussAI框架的特点DB4AI这个方向中,数据库通过集成AI能力,在用户进行AI计算时就可以避免数据搬运的问题。不同于其他的DB4AI框架,本次openGauss开源的原生框架是通过添加AI算子的方式完成数据库中的AI计算。那么除了避免了数据搬运所带来的问题这个普遍优势,openGauss的AI框架还具有以下的优势和特点:1)极低的学习门槛当前最主流的计算框架:Tensorflow、pytorch、keras等大多依托于python语言作为构建的脚本语言,...
2022-05-13 16:22:48 4732浏览 0点赞 0回复 0收藏
一.ShardingSphereproxy简介ShardingSphereproxy(以下简称为"proxy")定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。proxy实现分布式的核心原理是,使用netty捕获客户端(gsql或jdbc)的sql语句,通过抽象语法树解析sql,根据配置的分库分片规则,改写sql语句,使其路由到对应的数据库上并聚合多个sql的返回结果,再将结果通过netty返回给客户端,这样就完成了分库分片的全流程...
2022-05-13 15:10:58 6422浏览 1点赞 0回复 0收藏
pgloader介绍pgloader是一个数据导入工具,使用COPY命令将数据导入到PostgreSQL。pgloader有两种工作模式,一种是从文件导入,一种是迁移数据库。pgloader在两种情况下都使用PostgreSQL的COPY协议高效的传输数据。openGauss兼容PostgreSQL的通信协议以及绝大部分语法,可使用pgloader将MySQL数据库迁移至openGauss。pgloader在openGauss上的问题由于openGauss对原生PostgreSQL的通信协议进行了安全加固,这导致与PostgreSQL的默...
2022-05-13 10:58:06 9332浏览 1点赞 0回复 0收藏
Ora2Pg介绍Ora2Pg是一个将Oracle迁移至PostgreSQL的开源工具,通过连接Oracle数据库,自动扫描并提取其中的对象结构及数据,产生SQL脚本,通过手动或自动的方式将其应用到PostgreSQL。官方网站:https:ora2pg.darold.netOra2Pg优秀特性支持导出数据库绝大多数对象类型,包括表、视图、序列、索引、外键、约束、函数、存储过程等。提供PLSQL到PLPGSQL语法的自动转换,一定程度避免了人工修正。可生成迁移报告,包括迁移难度评估...
2022-05-12 17:15:35 7151浏览 0点赞 0回复 0收藏
pgchameleon介绍pgchameleon是一个用Python3编写的实时复制工具,经过内部适配,目前支持MySQL迁移到openGauss。工具使用mysqlreplication库从MySQL中提取rowimages,这些rowimages将以jsonb格式被存储到openGauss中。在openGauss中会执行一个plpgsql函数,解码jsonb并将更改重演到openGauss。同时,工具通过一次初始化配置,使用只读模式,将MySQL的全量数据拉取到openGauss,使得该工具提供了初始全量数据的复制以及后续增量...
2022-05-12 17:15:24 6309浏览 0点赞 0回复 0收藏