鸿蒙开发者社区

1、线上实战问题问题1：想要请问一下，我这边需求是每分钟利用sparksteaming插入按天的索引150万条数据。一般情况下还好，索引7个分片，1副本，但是偶尔会出现延迟很高的情况。比如：一般情况下1分钟插入150万能正常插入，可能突然就出现了需要5分钟才能插入成功，然后又正常了。很头疼。请问这种情况我需要怎么去查看一下是否正常。我已经把副本设置成了0，还把批量插入的参数从5000设置成2万。我节点是12个16g的，但是好像还...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言Oracle数据库的运行不可避免的会遇到各种各样的错误，就比如数据表出现坏块，此时，你这张表的数据就无法访问了，有什么好的办法可以恢复呢什么，你没有遇到过😱😏那就祝你不久的将来遇到，哈哈开个玩笑玩归玩，闹归闹，经验必须要老到!👍🏻一、介绍今天就给大家讲讲怎么处理数据表的坏块情况!🎉对于Oracle数据块物理损坏的情形，通常可以分为两种情况：有备份，通过RM...

变更以官方文档为准：https:www.elastic.cocntrainingcertificationfaqElasticCertifiedEngineer:version7.2untilJuly1,2021,whenitwillbeupdatedtoversion7.12oftheElasticStack.•2021年7月1日之前的考试版本为：7.2。•2021年7月1日及之后的考试版本为：7.12。引申一下，认证考试版本变化历史：•Elastic认证推出时间：2018年6月29日。2021年4月相关其他认证的考试版本：•ElasticCertifiedAnalyst:7.6&bull...

•问题1：用Elasticsearch做宽表的报表查询，我们打算用jdbc的方式访问，方便开发（使用sql），这种方式还是用JAVA封装的方法好。有没有坑？•问题2：Elasticsearch可以用脚本写sql，像执行hive脚本一样吗？•问题1涉及选型问题，我们会条分缕析解读。•问题2涉及Elasticsearch是否支持SQL功能。一句话：能像关系型数据库如Mysql中使用SQL方式一样方便的实现Elasticsearch增、删、改、查（尤其是检索、聚合）等...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言SQL语言有40多年的历史，从它被应用至今几乎无处不在。我们消费的每一笔支付记录，收集的每一条用户信息，发出去的每一条消息，都会使用数据库或与其相关的产品来存储，而操纵数据库的语言正是SQL!SQL对于现在的互联网公司生产研发等岗位几乎是一个必备技能，如果不会SQL的话，可能什么都做不了。你可以把SQL当做是一种工具，利用它可以帮助你完成你的工作，创造价值。...

问题描述：如何在一个四个节点的集群中，将主节点中的数据分散到其他节点中去，最后主节点没有数据？问题细节：•线上环境有4个节点，单节点为48核的物理机，252G的内存。•数据每日增量不大，累计数据就一个TB左右。数据的类型为文书类数据。•核心数据就一个索引，设置了48个分片。•只设置了一个主节点（同时是数据节点），其余三个仅数据节点。抛开节点配置、集群部署层面的问题。问题转化为：主节点&数据...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言如何在Linux主机一步一步安装MySQL数据库「看这篇准没错!」一、Linux服务器安装安装Linux服务器可选择：Centos，Redhat，OracleLinux!☞超全Linux安装包合集☞VMware虚拟机安装Linux系统参考官网文档，本次实战环境配置为：Redhat7.9x8664内存2G硬盘50G二、MySQL安装介质下载MySQL安装包可以直接在官网下载!选择版本：经典版5.7.20LinuxGenericglibc2.12&&x8664下载完...

•问题1：想请问下，一次性获取索引上的某个字段的所有值（100万左右），除了把maxresultwindow调大，还有没有啥方法？•问题2：关于es的分页，每次拿20条展示在前台，然后点击下一页，在查询后面的20条数据，应该要怎么写？•问题3：From+size、Scroll、searchafter的本质区别和应用场景分别是什么？•From+Size查询•SearchAfter查询•Scroll查询2.1.1From+size分页查询定义与实战案例如下基础查询：...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言从Oracle无法直接访问Mysql数据库，需要配置透明网关后通过DBLink实现访问。今天搞了一下午透明网关配置，流程比较复杂，并且有一些坑，这不立刻来给大家排排坑，说不定以后就用的着呢!废话不多说，直接实战走起一、环境准备本次环境准备了3台主机，分别是Oracle数据库，MySQL数据库，透明网关。环境信息：为什么透明网关需要单独配置一台主机不影响数据库主机的正常运...

受限于芯片断供，华为的手机业务受到很大影响，打造鸿蒙生态、发力汽车业务成为华为终端的新战略。据华为年报显示，截至2021年年底，超2.2亿台华为设备搭载鸿蒙系统，其它厂商推出的鸿蒙智联认证产品种类超过4500个，2021年，新增鸿蒙生态设备发货量突破1亿台。截至目前，已有超过一百款华为手机支持更新HarmonyOS。华为还将再今年内推出HarmonyOS3操作系统。在搭载HarmonyOS操作系统的众多产品中，汽车成为华为目前最为重视的...

•问题1：我想从目前的阿里云上6.7版本的es商业版，迁移到自己的7.10的自建环境，证书不一样，无法远程无法ccr，有没有实时同步的工具呀？还是只能用logstash？•问题2：es2个索引数据同步有什么组件或者方案吗？这是个经常被问到的问题。涉及到跨版本、跨网络、跨集群的索引数据的迁移或同步。我们拆解一下：7.X是当前的主流版本，早期的业务系统会停留在6.X、5.X甚至2.X、1.X版本。同步数据要注意：7.X和早期版本的不...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言无论是运维、开发、测试，还是架构师，数据库技术都是一个必备加薪神器，那么，一直说学习数据库、学MySQL，到底是要学习它的哪些东西呢一、如何快速掌握MySQL1.培养兴趣兴趣是最好的老师，不论学习什么知识，兴趣都可以极大地提高学习效率。不管学习MySQL5.7还是MySQL8.0都不例外!2.夯实SQL基础计算机领域的技术非常强调基础，刚开始学习可能还认识不到这一点。随着技...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言DGGAP顾名思义就是：DG不同步，当备库不能接受到一个或多个主库的归档日志文件时候，就发生了GAP。那么，如果遇到GAP如何修复呢且听我细细道来一、介绍DGGAP主要分为以下两类情况：1、主库归档日志存在，可以通过配置FetchArchiveLog(FAL)参数，自动解决归档GAP。2、主库归档日志丢失，需要人工干预来修复。不同Oracle版本的GAP修复方式也不尽相同，下面分别介绍不同版...

MySQL的索引分类问题一直让人头疼，几乎所有的资料都会给你列一个长长的清单，给你介绍什么主键索引、单值索引，覆盖索引，自适应哈希索引，全文索引，聚簇索引，非聚簇索引等……给人的感觉就是云里雾里，好像MySQL索引的实现方式有很多种，但是都没有一个清晰的分类。所以本人尝试总结了一下如何给MySQL的索引类型分类，便于大家记忆，由于MySQL中支持多种存储引擎，在不同的存储引擎中实现略微有所差距，下文中如果没有特殊...

本文针对我们平时使用场景最多的MySQL数据库在RR隔离级别下容易产生幻读的问题，来进行分析并分享解决方案。PartⅠ问题回顾幻读的定义：幻读是指某个事务读取某个范围内的记录时，另外一个事务又在该范围内插入了新的记录，当之前事务再次读取该范围内的记录时就会产生幻行。举一个例子，user表中id是主键索引，T1是主事务：T2是干扰事务：Step1：T1开始，并检查user表中是否有id1的记录。Step2：T2开始，插入id为1的记录且成功...

导语：之前的文章（见本文末）已经介绍了InnoDB的部分内外存数据结构，我也在学习过程中对InnoDB的一些数据对象有了基本认识，后面的文章会从数据流出发来学习InnoDB。这篇文章主要学习InnoDBRedoLog的流程。RedoLog是InnoDB实现数据一致性和持久化存储的关键，本文主要从设计原理和部分源码实现出发，对其中的知识点进行归纳总结。RedoLogBuffer&RedoLogFile前面两篇文章已经描述过，InnoDB使用RedoLog来保证数据的一致性和可...

作者莱乌来源IT界农民工(ID：kejishuqian)前段时间有读者提议讲讲索引下推，这期就把这事儿安排上。多余的前言就不赘述了，我们直接开始。列位坐好!思维导图回表操作对于数据库来说，只要涉及到索引，必然绕不过去回表操作。当然这也是我们今天所讲内容的前调基础。说到回表，我们需要从索引开始说起。别担心，不会长篇大论，这里只是简单讲下主键索引与普通索引，目的是让大家对回表操作有个认识。如果你对回表操作很熟悉了，...

(转载公众号：晓磊聊DB)引入数学概率问题：之前上学时都学过，把几组小球放几个盒子，然后计算概率的问题，那么我有10组小球(每组3个)，放5个盒子里(每个盒子不能空着)，会有多大的概率在2个盒子损坏的情况下，保证每组小球至少保留1个？Tikv可用性图下面对上图简单解释下：（1）以上都是在region默认3副本的情况下的讨论。（2）以上的可用性都是在大量region的情况下，无论有多少个tikv节点，一个region的3个副本肯定会调度到K...

作者莱乌来源IT界农民工(ID：kejishuqian)这期的文章主要是讲述写操作过程中涉及到的三个日志文件，看过前几期的话可能你或多或少已经有些了解了(或者从别的地方也了解过)。比如整个写操作过程中用到的两阶段提交，又或者是操作过程中涉及到的日志文件，但是总体来说不是很系统更谈不上全面。今天我们就来会会这三兄弟。思维导图两阶段提交这个名词你应该听到过很多次了，在这里再介绍下这位老朋友。所谓的两阶段提交，从字面意...

作者莱乌来源IT界农民工(ID：kejishuqian)写这篇文章是因为之前有一次删库操作，需要进行批量删除数据，当时没有控制好删除速度，导致产生了主从延迟，出现了一点小事故。今天我们就来看看为什么会产生主从延迟以及主从延迟如何处理等相关问题。坐好了，准备发车!思维导图主从常见架构随着日益增长的访问量，单台数据库的应接能力已经捉襟见肘。因此采用主库写数据，从库读数据这种将读写分离开的主从架构便随之衍生了出来。在...