开源基础软件社区

背景在并发编程时，对于互斥区我们一般通过锁来保护。在Greenplum中也是如此，所以大家在源码中可以看到相应的锁操作，比如我们已经熟悉的spinlock，lwlock等等。但是在有些场景中，互斥区非常小（比如只访问一个变量的场景），为了提升性能，更希望使用无锁方式来进行操作，因此希望对应的操作可以原子化。针对这类场景，在大部分编程语言中都内置了相应的基础库，比如C++中的std::atomic,Java中的java.util.concurrent.atomic...

在《Greenplum备份恢复工具gpbackup》系列文章的上篇中，我们简单介绍了gpbackup，并进行了源码编译。在今天的《中篇》中，我们将介绍gpbackup所有参数的详细使用方法。本篇文章将参考以下内容进行操作：GPDB6.20DDocs官方英文文档的gpbackup部分；gpbackup命令帮助信息注意：gpbackup和gprestore命令只需要放置到master节点的greenplumdbbin目录下，gpbackuphelper命令需要放置到所有segmenthost节点的greenplumdbbin目录下。1...

今天为大家介绍的是基于下一代Greenplum数据库的数据安全组件的一个重要组成部分——数据透明加密。数据加密已经成为保证数据库安全必不可少的一项要求。传统Greenplum使用外部的UDF在实现数据加密，在易用性和性能方面都有所欠缺。为了满足客户对于数据加密的易用性和性能方面的要求，Greenplum实现了基于扩展组件模式（内核原生）的透明数据加密。该功能可实现原生用户数据自动加解密，无需修改查询语句且性能损失小。Greenpl...

编者按：最近，社区的小伙伴一直在问gpbackup的问题，这几天便花了点时间看了看源码，整理一个gpbackup的主题文章，希望能够帮到大家。gpbackup的分享主题计划分成3篇文章：gpbackup简介与源码编译gpbackup详细使用方法gprestore详细使用方法及总结上篇文章，我们首先来介绍一下gpbackup，并从github上拉取源码进行编译。PART.01gpbackup简介Greenplum是MPP架构的分析型数据库，其核心源码从2015年的v4.3版本开始开源至今，已经...

系列简介为了满足客户对于数据安全的严苛要求，Greenplum开发团队正在为Greenplum数据库设计开发数据加密功能，保证磁盘上的数据是加密存储的。在这个系列文章中，我们将对这一功能做一个简要介绍，主要介绍数据加密功能的主要原理和它所能带来的价值。Greenplum的存储管理器为了理解数据加密功能的原理，首先需要了解Greenplum是如何将数据存储到磁盘上的。通常，磁盘是由操作系统中的文件系统来管理的，文件系统提供了一个磁...

2022年年初，Greenplum7版本将正式GA（具体时间请以官方信息为准）。今年，Greenplum中文社区将和墨天轮社区合作，邀请原厂专家，开展《Greenplum7新版本大剧透》系列直播。第一场活动中，Greenplum原厂研发总监杨瑜介绍了Greenplum7引入的多个激动人心的新特性和最新开发进展，包括各个组件和内核部分，让大家提前尝鲜。小编已经帮大家把精华内容整理成了文章供大家学习回顾，因为内容过长，内容将被分为“组件篇”和“内核篇...

GPText是Greenplum生态系统的一部分。它无缝集成了Greenplum数据库海量数据并行处理以及ApacheSolr企业级文本检索的能力，为用户提供了一套易于使用、功能完备的文本检索、分析方案。GPText现已拥有来自多家顶尖投资银行及政府部门的众多国际用户，并在不断迭代中更新众多新特性，为用户提供更加成熟的功能。ApacheSolr是一款基于ApacheLucene的高效文本检索引擎，它具有容错性（faulttolerant），高可用（highlyavailability）...

数据同步一般分为两种方式：全量和增量。增量数据是一类典型的流数据，基于日志的增量同步几乎已经是所有数据库的标配，它可以减少常规ETL工作对系统带来的影响，并大大降低数据的延迟。作为Greenplum的流计算引擎，GreenplumStreamServer（gpss）能将不同源端的增量数据同步到Greenplum中。为更好的支持这一应用场景，即将发布的gpss1.3.6对增量同步的功能做了增强。GreenplumStreamServer(简称gpss)，是Greenplum的下一代数据...

以下资料是根据PivotalGreenplum官网翻译、Grenplum中文社区博客以及个人测试所得，如有部分描述错误，欢迎下方评论指出，共同进步。目录一：gpcopy介绍二：gpcopy相较于gptransfer三：gpcopy版本发展史四：gpcopy命令（基于gpcopy1.5.0）五：gpcopy官方提示注意点六：gpcopy使用测试注意点七：gpcopy参考地址一gpcopy介绍gpcopy是一个数据迁移实用程序，可以在不同集群之间进行传输数据，可以将一个集群中的Greenplum数据库的...

背景ApacheSolr是被广泛使用的开源搜索引擎，GreenplumDB的全文检索组件GreenplumText（https:gptext.docs.pivotal.io330welcome.html）就是基于其构建的：GreenplumText简写为GPText，它将Greenplum数据库与ApacheSolrCloud企业搜索和MADlib分析库进行紧密集成，从而为客户提供了大规模分析处理和业务决策支持，主要功能包括免费的文本搜索以及对文本分析的支持。广义来说，solr中的cache可以分为2大部分：solr系统的内部cache...

Greenplum是一个大规模并行处理数据库，由一个master和多个segment组成。在之前推送的文章《Greenplum数据分布和分区策略》中，我们介绍了在Greenplum上，数据是按照什么样的分布策略分布于各个segment上。既然表的这些分布和分区策略如此重要，您可能会问：我们如何监控这些情况，以及及早发现异常。GreenplumCommandCente（GPCC）可以很好的解决这个问题，今天我们将为您详细解答。在最新的GPCC中，您可以轻松查看表的分布和...

数据库性能分析和优化是一个难题，作者PivotalGreenplum工程技术经理王昊所在的Greenplum研发部门近期正好在解决一个实际用户的全局性能问题，本文记录了分析过程和解决思路。在12月18日推送的【实录】首次利用GPCC历史数据调优Greenplum第一部分帮助大家了解了GPDB集群的整体性能特征，现在为大家带来第二部分——分析查询负载整体情况的干货内容。第二部分，分析查询负载整体情况先介绍和对比GPCC的查询历史表对比GPPerfmon，...

数据库性能分析和优化是一个难题，笔者所在的Greenplum研发部门近期正好在解决一个实际用户的全局性能问题，本文记录了分析过程和解决思路。本案例是第一次对实际客户的生产库以GPCC历史数据为核心剖析性能问题，因此有一定的开创性和借鉴意义，故撰文供研发同事、现场工程师、支持工程师参考，同时也适合具备一定GP基础并希望提高的读者阅读。同时为了保护客户的商业秘密，本文不透露任何关于该商业用户的名称、行业等信息，并...

GreenplumCommandCenter，或者简称GPCC，是Greenplum原生的图形化运维管理工具。在最近3年来的开发中，基于全新的界面和用户体验，陆续推出了监控、历史数据、管理的功能，在众多商业用户上得到了广泛的应用和认可。随着Greenplum6.0的发布，GreenplumCommandCenter（也称为GPCC）也在新的版本中抵达了一个新的里程碑。我们跳过了版本5，并为GPDB6.0发布了GPCC6.0。对于GPDB5.19以上用户，我们发布了4.8.0。这篇文章中将讨论GPC...

“...大多数行业专家都认同，全球80％至90％的数据是非结构化数据。在这庞大的数据中，如今却只有0.5％被有效地分析和使用。在商业世界中，大多数非结构化数据都位于与客户相关的文本中。可惜，大多数公司都不知道如何从非结构化的客户数据中有效地提取有用的信息来帮助预测和分析。但是，如果做对了，从大量文本中提取有价值的预测见解仅需几秒钟。”——OsvaldoDriollet(博士)高级数据科学家,美国征信巨头FICO”GPText是Green...

自2019年起，Greenplum数据库团队就开始致力于构建Greenplum原地升级工具gpupgrade。gpupgrade致力于提供一个简便的升级途径帮助用户在升级的过程中减少时间和空间的消耗。该工具将使客户能够方便放心的快速升级到Greenplum数据库的最新版本，让Greenplum在快速迭代的同时更快的获得客户反馈。Greenplum研发团队从用户那收集了升级需求，并将收集来的需求进行了综合和分级。在充分了解用户对升级工具的需求后，我们构建了一个gp...

ApacheSolr是一款基于ApacheLucene的高效文本检索引擎，它具有容错性（faulttolerant），高可用（highlyavailability），易扩展（scalability），分布式（distribution）等特点，在世界上著名的大型应用和网站中被广泛使用，如eBay,Instagram,Netflix等。GPText是Greenplum生态系统的一部分。它无缝集成了Greenplum数据库海量数据并行处理以及ApacheSolr企业级文本检索的能力，为用户提供了一套易于使用、功能完备的文本检索、...

数据同步一般分为两种方式：全量和增量。增量数据是一类典型的流数据，基于日志的增量同步几乎已经是所有数据库的标配，它可以减少常规ETL工作对系统带来的影响，并大大降低数据的延迟。作为Greenplum的流计算引擎，GreenplumStreamServer（gpss）能将不同源端的增量数据同步到Greenplum中。为更好的支持这一应用场景，即将发布的gpss1.3.6对增量同步的功能做了增强。GreenplumStreamServer(简称gpss)，是Greenplum的下一代数据...

在过去的两周里，我们的《如何从Oracle迁移到Greenplum》系列文章分别介绍了《Greenplum和Oracle的产品对比》，《迁移效果的几个关键因素》，以及《迁移场景和迁移过程》。今天将继续和大家分享如何Oracle迁移到Greenplum的特殊场景。特殊场景分析从Oracle迁移到Greenplum后，大部分分析类型场景都会有明显的性能提升。但在某些场景下，由于MPP内部机制的实现，很难达到性能的线性扩展。还有部分SQL要充分发挥MPP的性能优势，就...

之前我们在《如何用gpss实现MySQL到Greenplum的增量同步》中详细介绍了MySQL到Greenplum增量同步的实现步骤。今天将给大家讲一讲Oracle到Greenplum又是如何实现的。Oracle数据库虽然在OLTP领域仍有着毋庸置疑的优势地位，但在OLAP领域与Greenplum则是差距显著。如今已经有越来越多的分析型业务从Oracle迁移到Greenplum，在《如何从Oracle迁移到Greenplum》系列文章中，详细介绍了业务的迁移的最佳实践；而数据迁移中最核心的就...