鸿蒙开发者社区

1移动应用隐私合规检测背景简介移动应用的隐私合规检测，从技术形态上可以分为静态检测方案与动态检测方案。以下分别作简要介绍。1.1静态检测静态检测方案通过对移动应用的安装包进行反编译，进而通过静态数据流、控制流分析等技术，检测移动应用中可能存在的隐私泄露问题。在该领域中，常用到以下工具：•Apktool[1]:反编译安卓Apk，可以反编译资源，并在进行修改之后重新打包Apk•dex2jar[2]:将Apk反编译成Java源码（classes....

MongoDB实例的内存使用率是一个非常重要的指标，内存使用率过高会导致MongoDB实例的内存溢出。本文主要通过查看MongoDB实例内存使用率的方法，让MongoDB的使用者尽快发现内存方面出现的问题并采取相关的应对措施。在MongoDB启动后，我们都知道不光加载了二进制中的文件到内存中，同时负责内存的分配和释放的工作。如：各个客户端连接和请求，默认情况下MongoDB使用的内存分配的方法是通过tcmalloc来进行分配，内存主要被wiredTi...

EO浏览器可以浏览和比较我们提供的所有数据收集中的全分辨率图像。您只需转到您感兴趣的区域，选择所需的时间范围和云覆盖范围，然后在浏览器中检查结果数据。尝试不同的可视化或制作自己的可视化，下载高分辨率图像并创建延时摄影。哨兵中心服务正在以有效的方式提供长期分析。我们保持EO浏览器，我们的哨兵中心功能的展示免费使用，使这些功能可供几乎任何人使用。一些最令人兴奋的新EO浏览器功能收集在我们的Medium博客文章...

本次ApacheShardingSphere5.1.2版本更新为大家带来了三大全新功能，其中之一即为使用ShardingSphereProxychart在云环境中快速部署一套ShardingSphereProxy集群，本篇将带大家详细了解该项功能。1背景和痛点在云原生的环境下，一个应用可以在多个不同环境中进行批量的部署，使用原始的yaml进行重用，部署到新环境中也是困难重重。可以看到，在进行Kubernetes软件部署时，我们面临下述问题：●如何管理，编辑和更新这些分散的Kube...

作为DatabasePlus设计哲学的最佳实践，Apache顶级开源项目ShardingSphere通过各行业多年的生产环境检验，受到了众多社区爱好者的关注和追捧。而随着Kubernetes成为容器编排的事实标准，其引领的云原生风暴迅速席卷了技术世界。ApacheShardingSphere作为一个拥有开放生态的数据库增强引擎，其设计理念和Kubernetes有着诸多相似之处，而在这股云原生浪潮之下，社区对ShardingSphere上云的呼声也越来越高，于是SphereEx率先推出了...

1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的，但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用Elasticsearch大量内存，从而导致OOM的情况发生。实践应用发现，以下情况都会比较慢：1）待聚合文档数比较多（千万、亿、十亿甚至更多）；2）聚合条件比较复杂（多重条件聚合）；3）全量聚合（翻页的场景用）。2、聚合优化方案探讨优化方案一：默认深度优先聚合改为广度优先聚合。"colle...

一.背景最近MongoDB群里面有群友遇到2次重启MongoDB后一直处于实例恢复状态(应用OPLOG)，多达几天甚至更长才完成重启，通常MongoDB副本集三个实例作为标准，重启主库会发生重新选出新主节点(通常在12s内完成)重新对外服务，通常不符合官方标准化或者内部发生异常导致的。经过了解副本集采用PSA架构且存在一个数据从节点不可达的情况(甚至有的从节点宕机几个月没有发现)，来分析这些情况以及如何应对。主要包括以下内容：(WT存储...

1背景ShardingSphereDataSourceFactory是ApacheShardingSphereJDBC端的最基础用户API，它用于将用户的规则配置对象进行转化，并生成为标准DataSource的实现。除此之外，它还提供了用于YAML配置的YamlShardingSphereDataSourceFactory，以及用于Spring的自定义命名空间和SpringBootStarter。DataSource是标准的JavaJDBC接口，工程师可以通过它进一步创建符合JDBC标准的Connection、Statement、PreparedStatement、ResultSet等耳...

0、实战问题有了分词，开发中会遇到，某个索引的文档集合中，共有多少XX关键词？这就引发出了词频统计的问题。社区问题：中文分词后能否统计索引词频初学者，想做一个简单的论坛检索和热词分析的应用，IK分词后能否将分好的索引词出现频率排序。这样可以形成一个大致的热点词汇范围。我知道单条index的话可以用termvectors做这个事情，要是上万条index能做吗？多谢！1、创建索引DELETEmessageindexPUTmessageindex{"mappings":{...

01题记想到删除，基础认知是delete，细分为删除文档（document）和删除索引；要删除历史数据，基础认知是：删除了给定条件的数据，用deletebyquery。实际操作发现：删除文档后，磁盘空间并没有立即减少，反而增加了？除了定时任务+deletebyquery，有没有更好的方式呢？02常见的删除操作2.1删除单个文档1DELETEtwitterdoc12.2删除满足给定条件的文档POSTtwitterdeletebyquery{"query":{"match":{"message":"somemessage"}}}注意...

1背景自ShardingSphere5.0.0版本发布以来，DistSQL为ShardingSphere生态带来了强大的动态管理能力，通过DistSQL，用户可以：●在线创建逻辑库；●动态配置规则（包括分片、数据加密、读写分离、数据库发现、影子库、全局规则等）；●实时调整存储资源；●即时切换事务类型；●随时开关SQL日志；●预览SQL路由结果；●...同时，随着使用场景的深入，越来越多的DistSQL特性被发掘出来，众多宝藏语法也受到了用户的喜爱。2内容提要...

1、什么是SCASCA（SoftwareCompositionAnalysis）软件成分分析，通俗的理解就是通过分析软件包含的一些信息和特征来实现对该软件的识别、管理、追踪的技术。我们知道在当今软件开发中，引入开源软件(注1)到你的项目中，避免重复造轮子是大家都再熟悉不过的了，比如开源库中开源软件按每年21%速度在增长(来源Forrester报告)，开源安全威胁成为企业组织无法回避的话题，而应用SCA技术对应用程序进行安全检测，实现安全管理是最行...

MongoDB作为领先的NoSQL，为了支撑更多的需求场景，也在不断完善其功能。从早期支持大吞吐量读写操作的MMAPv1存储引擎，到引入支持高并发操作的WiredTiger存储引擎，以及对事务功能的持续演进，MongoDB不仅保留了最初的架构优势，同时又汲取了其他数据库的优点。MongoDB从3.0版本引入WiredTiger存储引擎之后开始支持事务，MongoDB3.6之前的版本只能支持单文档的事务，从MongoDB4.0版本开始支持复制集部署模式下的事务，从MongoD...

1、问题抛出某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。举例：title公路局正在治理解放大道路面积水问题。输入关键词:道路，能否搜索到这个document呢？实际应用中可能需要：1）检索关键词”理解”、”解放”、”道路”、“理解放大”，都能搜出这篇文档。2）单个的字拆分“治”、“水”太多干扰，不要被检索出来。3）待检索的词不在词典中，也必须要查到。4）待检索词只要在原文title...

ShardingSphereProxy是ApacheShardingSphere的接入端之一，其定位为透明化的数据库代理。ShardingSphereProxy实现了数据库协议，理论上可以被任何使用或兼容MySQLPostgreSQLopenGauss协议的客户端访问。相比ShardingSphereJDBC，ShardingSphereProxy的优势在于对异构语言的支持，以及为DBA提供数据库集群的可操作入口。与ShardingSphere的SQL解析模块相似，ShardingSphereProxy对数据库协议的支持度也是一个长期积累的过程，需...

1业务背景QQ小世界最主要的四个Feed场景有：基于推荐流的广场页、个人主页，被动消息列表以及基于关注流的关注页。最新Feed云架构由腾讯老Feeds云重构而来，老Feeds云存在如下问题：性能问题老系统读写性能差，通过调研测试确认MongoDB读写性能好，同时支持更多查询功能。老系统无法像MongoDB一样支持字段过滤（Feed权限过滤等），字段排序（个人主页赞排序等），事务等。数据一致性问题老系统采用了ckv+tssd为tlist做一层缓存...

1、什么是堆内存？Java中的堆是JVM所管理的最大的一块内存空间，主要用于存放各种类的实例对象。在Java中，堆被划分成两个不同的区域：新生代(Young)、老年代(Old)。新生代(Young)又被划分为三个区域Eden、FromSurvivor、ToSurvivor。这样划分的目的是为了使JVM能够更好的管理堆内存中的对象，包括内存的分配以及回收。2、堆内存的作用是什么？在虚拟机启动时创建。堆内存的唯一目的就是创建对象实例，所有的对象实例和数组都要...

PageFault在大多数数据库中都会存在，页面错误的定义是当MongoDB读取数据时，发现数据不再常驻的Cache中，而需要等待从磁盘读取数据到内存中的页面，这些页面就被称之为PageFaul。PageFault主要产生问题的是在用户在读取，或进行DML操作时所需要读取的数据不再虚拟内存中，而需要等待从磁盘中获取这些数据。鉴于以上的原理，PageFault的问题产生基于空余的内存不足的问题，在系统中使用页面的情况会经常判断是否有空余的页面空...

1、题记2018年3月初，萌生了一个想法：对Elasticsearch相关的技术书籍做拆解阅读，该想法源自非计算机领域红火已久的【樊登读书会】、得到的每天听本书、XX拆书帮等。目前市面上Elasticsearch的中文书籍就那么基本，针对ES5.X以上的三本左右；国外翻译有几本，都是针对ES1.X，2.X版本，其中《深入理解Elasticsearch》还算比较经典。拆书的目的：1）梳理已有的Elasticsearch知识体系；2）拾遗拉在角落的Elasticsearch知识点；3）...

当一个人处在持续地追求与锋锐地思索状态中，他将收获怎样的价值与自由？有人说，敲过万行代码的程序员，可以写一份基础版入行指南，给初阶人群作入门参考。码过十万行代码的程序员，能写一本进阶版技术手册，给陷入发展瓶颈的人们“指点一二”。而完成了近千万行代码的“顶级选手”，已经无需再进行形式繁琐的“叙言著传”，其存在本身，就会为大众带来极强的正面激励与价值启迪。今天为大家介绍的张亮，便是我们所描述的，写...