鸿蒙开发者社区
- 登录/注册
默认
发布时间
热度
原创
精华
【干货】Greenplum备份恢复工具gpbackup（上篇）
编者按：最近，社区的小伙伴一直在问gpbackup的问题，这几天便花了点时间看了看源码，整理一个gpbackup的主题文章，希望能够帮到大家。gpbackup的分享主题计划分成3篇文章：gpbackup简介与源码编译gpbackup详细使用方法gprestore详细使用方法及总结上篇文章，我们首先来介绍一下gpbackup，并从github上拉取源码进行编译。PART.01gpbackup简介Greenplum是MPP架构的分析型数据库，其核心源码从2015年的v4.3版本开始开源至今，已经...Greenplumddos攻击的流量从哪来
1、SYN攻击方式这种DDOS攻击方式以大量的傀儡机器肉鸡，向目标主机发送SYN数据包，而收到目标主机的SYNACK后并不回应，这样，目的主机就为这些傀儡机器肉鸡，建立了大量的连接队列，而且由于没有收到ACK一直维护着这些队列，造成了资源的大量消耗而不能向正常请求提供服务。2、TCP攻击方式发送大量肉鸡的TCP数据包，TCP头的TCPFlags的数据报可能是syn,ack,syn+ack,syn+rst等等，会造成一些防火墙处理错误锁死，消耗服务器CPU内...ddos流量Semi-join在Greenplum中的三种实现方式
Semijoin（半连接）是用来处理外表的记录是否在内表中存在与其匹配的行，而无需考虑匹配行的条数，半连接的返回结果集仅使用外表数据集，使用场景如：in、exists、><any等操作。本文将为大家详细介绍Semijoin在Greenplum中的三种实现方式。Semijoin是Greenplum的一种内部算子，用户无法直接在sql语句中使用，semijoin算子可以用在nestloop、hashjoin以及mergejoin中。与普通join算子不同，外表一行数据只要在内表中找到与其匹配...GreenplumGreenplum数据加密功能前瞻（一）：堆表的存储管理
系列简介为了满足客户对于数据安全的严苛要求，Greenplum开发团队正在为Greenplum数据库设计开发数据加密功能，保证磁盘上的数据是加密存储的。在这个系列文章中，我们将对这一功能做一个简要介绍，主要介绍数据加密功能的主要原理和它所能带来的价值。Greenplum的存储管理器为了理解数据加密功能的原理，首先需要了解Greenplum是如何将数据存储到磁盘上的。通常，磁盘是由操作系统中的文件系统来管理的，文件系统提供了一个磁...GreenplumSolr 7 的响应速度竟然可以提高10倍!?
ApacheSolr是一款基于ApacheLucene的高效文本检索引擎，它具有容错性（faulttolerant），高可用（highlyavailability），易扩展（scalability），分布式（distribution）等特点，在世界上著名的大型应用和网站中被广泛使用，如eBay,Instagram,Netflix等。GPText是Greenplum生态系统的一部分。它无缝集成了Greenplum数据库海量数据并行处理以及ApacheSolr企业级文本检索的能力，为用户提供了一套易于使用、功能完备的文本检索、...Greenplum如何用gpss实现MySQL到Greenplum的增量同步
数据同步一般分为两种方式：全量和增量。增量数据是一类典型的流数据，基于日志的增量同步几乎已经是所有数据库的标配，它可以减少常规ETL工作对系统带来的影响，并大大降低数据的延迟。作为Greenplum的流计算引擎，GreenplumStreamServer（gpss）能将不同源端的增量数据同步到Greenplum中。为更好的支持这一应用场景，即将发布的gpss1.3.6对增量同步的功能做了增强。GreenplumStreamServer(简称gpss)，是Greenplum的下一代数据...Greenplum如何从Oracle迁移到Greenplum 第三篇
在过去的两周里，我们的《如何从Oracle迁移到Greenplum》系列文章分别介绍了《Greenplum和Oracle的产品对比》，《迁移效果的几个关键因素》，以及《迁移场景和迁移过程》。今天将继续和大家分享如何Oracle迁移到Greenplum的特殊场景。特殊场景分析从Oracle迁移到Greenplum后，大部分分析类型场景都会有明显的性能提升。但在某些场景下，由于MPP内部机制的实现，很难达到性能的线性扩展。还有部分SQL要充分发挥MPP的性能优势，就...Greenplum【实录】首次利用GPCC历史数据调优Greenplum 第一部分
数据库性能分析和优化是一个难题，笔者所在的Greenplum研发部门近期正好在解决一个实际用户的全局性能问题，本文记录了分析过程和解决思路。本案例是第一次对实际客户的生产库以GPCC历史数据为核心剖析性能问题，因此有一定的开创性和借鉴意义，故撰文供研发同事、现场工程师、支持工程师参考，同时也适合具备一定GP基础并希望提高的读者阅读。同时为了保护客户的商业秘密，本文不透露任何关于该商业用户的名称、行业等信息，并...GreenplumGreenplum保证数据隔离的“秘密武器”：快照
数据库系统需要保证ACID特性，其中的I特指隔离性（Isolation），而多版本控制协议（MVCC）和快照（Snapshot）是实现隔离性的重要手段。多版本控制协议相关内容在之前的相关文章中已经进行了介绍，本文中将会对Greenplum中快照相关的知识进行简要介绍，欢迎大家留言交流。本文中涉及到的代码版本是Greenplum6X的稳定分支（greenplumdbgpdbat6XSTABLE(github.com)），其他分支上（如master，5X等）的代码逻辑会有所差异，请读者留...Greenplum大规模金融交易数据分析的高性能解决方案：Greenplum + GPText
“...大多数行业专家都认同，全球80％至90％的数据是非结构化数据。在这庞大的数据中，如今却只有0.5％被有效地分析和使用。在商业世界中，大多数非结构化数据都位于与客户相关的文本中。可惜，大多数公司都不知道如何从非结构化的客户数据中有效地提取有用的信息来帮助预测和分析。但是，如果做对了，从大量文本中提取有价值的预测见解仅需几秒钟。”——OsvaldoDriollet(博士)高级数据科学家,美国征信巨头FICO”GPText是Green...GreenplumSolr Cache最佳实践帮你轻松调优
背景ApacheSolr是被广泛使用的开源搜索引擎，GreenplumDB的全文检索组件GreenplumText（https:gptext.docs.pivotal.io330welcome.html）就是基于其构建的：GreenplumText简写为GPText，它将Greenplum数据库与ApacheSolrCloud企业搜索和MADlib分析库进行紧密集成，从而为客户提供了大规模分析处理和业务决策支持，主要功能包括免费的文本搜索以及对文本分析的支持。广义来说，solr中的cache可以分为2大部分：solr系统的内部cache...Greenplum四两拨千斤：小巧新秀ClickHouse如何完美支撑史上最强双十一？
第12个双11已圆满结束啦！12年，既是一个轮回，也是全新的开始。“阿里巴巴数据库技术”特此推出《双11护航背后的数据库技术实践与经验分享》系列干货文章，为你讲述新纪录下的技术变迁和创新，敬请关注！来看看经受住双11“大考”的阿里云数据库团队究竟有什么秘密武器。今天为大家带来二号武器云数据库ClickHouse。关于云数据库ClickHouseClickHouse是一款开源的列式分析型数据库，自从2016年开源以来在全世界开源社区内的受...ClickHouseGPText：开始并将持续回馈Greenplum
GPText是Greenplum生态系统的一部分。它无缝集成了Greenplum数据库海量数据并行处理以及ApacheSolr企业级文本检索的能力，为用户提供了一套易于使用、功能完备的文本检索、分析方案。GPText现已拥有来自多家顶尖投资银行及政府部门的众多国际用户，并在不断迭代中更新众多新特性，为用户提供更加成熟的功能。ApacheSolr是一款基于ApacheLucene的高效文本检索引擎，它具有容错性（faulttolerant），高可用（highlyavailability）...Greenplum一篇文章帮你详细了解Greenplum迁移工具—GPCopy
以下资料是根据PivotalGreenplum官网翻译、Grenplum中文社区博客以及个人测试所得，如有部分描述错误，欢迎下方评论指出，共同进步。目录一：gpcopy介绍二：gpcopy相较于gptransfer三：gpcopy版本发展史四：gpcopy命令（基于gpcopy1.5.0）五：gpcopy官方提示注意点六：gpcopy使用测试注意点七：gpcopy参考地址一gpcopy介绍gpcopy是一个数据迁移实用程序，可以在不同集群之间进行传输数据，可以将一个集群中的Greenplum数据库的...Greenplum【实录】首次利用GPCC历史数据调优Greenplum 第二部分
数据库性能分析和优化是一个难题，作者PivotalGreenplum工程技术经理王昊所在的Greenplum研发部门近期正好在解决一个实际用户的全局性能问题，本文记录了分析过程和解决思路。在12月18日推送的【实录】首次利用GPCC历史数据调优Greenplum第一部分帮助大家了解了GPDB集群的整体性能特征，现在为大家带来第二部分——分析查询负载整体情况的干货内容。第二部分，分析查询负载整体情况先介绍和对比GPCC的查询历史表对比GPPerfmon，...Greenplum当谈起Greenplum 7时，我们在谈什么？之组件篇
2022年年初，Greenplum7版本将正式GA（具体时间请以官方信息为准）。今年，Greenplum中文社区将和墨天轮社区合作，邀请原厂专家，开展《Greenplum7新版本大剧透》系列直播。第一场活动中，Greenplum原厂研发总监杨瑜介绍了Greenplum7引入的多个激动人心的新特性和最新开发进展，包括各个组件和内核部分，让大家提前尝鲜。小编已经帮大家把精华内容整理成了文章供大家学习回顾，因为内容过长，内容将被分为“组件篇”和“内核篇...Greenplum如何从Teradata迁移到Greenplum（下篇）
在如何从Teradata迁移到Greenplum（上篇）中，向大家介绍了Teradata产品和用户面临的问题、从Teradata迁移到Greenplum的可行性以及如何从Teradata迁移到Greenplum的部分内容，今天将接着和大家分享如何从Teradata迁移到Greenplum的具体内容。03数据操作语句(DML)转换1.关键字转换在Teradata中，SELECT关键字可以简写为SEL，而在Greenplum中不支持这种简写。转换规则如下：把SEL替换为标准关键字写法SELECT。注意：该转换不建议...Greenplum如何用gpss实现MySQL到Greenplum的增量同步
数据同步一般分为两种方式：全量和增量。增量数据是一类典型的流数据，基于日志的增量同步几乎已经是所有数据库的标配，它可以减少常规ETL工作对系统带来的影响，并大大降低数据的延迟。作为Greenplum的流计算引擎，GreenplumStreamServer（gpss）能将不同源端的增量数据同步到Greenplum中。为更好的支持这一应用场景，即将发布的gpss1.3.6对增量同步的功能做了增强。GreenplumStreamServer(简称gpss)，是Greenplum的下一代数据...Greenplum手把手教您借助GPCC查看表的分布和分区策略
Greenplum是一个大规模并行处理数据库，由一个master和多个segment组成。在之前推送的文章《Greenplum数据分布和分区策略》中，我们介绍了在Greenplum上，数据是按照什么样的分布策略分布于各个segment上。既然表的这些分布和分区策略如此重要，您可能会问：我们如何监控这些情况，以及及早发现异常。GreenplumCommandCente（GPCC）可以很好的解决这个问题，今天我们将为您详细解答。在最新的GPCC中，您可以轻松查看表的分布和...GreenplumGreenplum开源升级工具gpupgrade beta版，欢迎试用！
自2019年起，Greenplum数据库团队就开始致力于构建Greenplum原地升级工具gpupgrade。gpupgrade致力于提供一个简便的升级途径帮助用户在升级的过程中减少时间和空间的消耗。该工具将使客户能够方便放心的快速升级到Greenplum数据库的最新版本，让Greenplum在快速迭代的同时更快的获得客户反馈。Greenplum研发团队从用户那收集了升级需求，并将收集来的需求进行了综合和分级。在充分了解用户对升级工具的需求后，我们构建了一个gp...Greenplum
