开源基础软件社区

上篇文章​​openEuler用户软件仓（EUR）介绍​​分享了什么是EUR以及为什么要使用EUR。本文将为大家分享openEuler用户软件仓（EUR）的使用方法，帮助大家在EUR中构建自己的软件包。基本概念在使用用户软件仓前，有如下几个概念需要您了解：用户：用户是使用本系统的主体，也是所有操作的发起者；项目：每个用户可以创建多个项目，项目用于组织一个或多个软件包，每个项目可以针对这组软件包生成针对各个openEuler版本的软件包...

什么是EUREUR(openEulerUserRepo)是openEuler社区针对开发者推出的个人软件包托管平台，目的在于为开发者提供一个易用的软件包分发平台。链接：​​https:eur.openeuler.openatom.cn​​为什么我们需要EUR在操作系统的世界，软件包是一等公民，软件包的丰富程度和是否易于分发，一定程度上决定了操作系统用户和开发者的使用体验，试想一下这种情况：1.开发者希望自己尚在开发中的软件能够尽早的与openEuler社区持续的集成并发布...

可重复构建（ReproducibleBuilds）是证明软件供应链安全的必要手段，2022已被纳入SupplyChainSecurityCon的topics以及微软的S2C2F（SecureSupplyChainConsumptionFramework）当中，并受到了Google开源安全团队的支持赞助。OpenSSFSLSA在软件供应链完整性与包管理最佳实践中也对可重复构建有所要求。2022年openEuler已初步建设可重复构建能力。什么是可重复构建对于可重复的构建，给定相同的源代码、构建环境和构建指令，任何人...

案例1云原生场景下Java类应用性能问题诊断1.场景及案例介绍某Kafkaproducer客户端Java应用版本升级后性能出现下降，性能从222WTPS下降到65WTPS，吞吐量从337MBs下降到95.9MBs，如下图所示（为了便于比较，在不同POD里同时启动升级前后的两个应用）：可见，Kafka客户端应用的性能出现了明显的下降，但此时Kafka服务端较轻载，CPU0.7%，内存16.8%，说明性能劣化是由于客户端应用的问题导致。Kafka服务端资源情况如下：2.性能问题...

最近我们关注到一个关于containerd运行时的issue（​​https:github.comcontainerdcontainerdissues7843​​），该问题在containerdv1.6.9v1.5.15被引入。出现的问题是，当containerd重启后，在其中运行的Pod元数据中关于网络相关的数据（如podip）丢失，核心原因在于部分数据没有落盘。受影响的版本：v1.6.9v1.6.14，问题在v1.6.15版本中被修复。v1.5.15v1.5.16，问题在v1.5.17版本中被修复。通过以下步骤，可以快速重现该问题...

虚拟机混合部署是指把对CPU、IO、Memory等资源有不同需求的虚拟机通过调度方式部署、迁移到同一个计算节点上，从而使得节点的资源得到充分利用。虚拟机混合部署的场景有多种，比如通过动态资源调度满足节点资源的动态调整；根据用户使用习惯动态调整节点虚拟机分布等等。而虚拟机高低优先级调度也是其中的一种实现方法。在单机的资源调度分配上，区分出高低优先级，即高优先级虚机和低优先级虚机发生资源竞争时，资源优先分配给...

随着云计算市场规模的快速增长，各云厂商基础设施投入也不断增加，但行业普遍存在资源利用率低的问题，在上述背景下，提升资源利用率已经成为了一个重要的技术课题。将业务区分优先级混合部署（下文简称混部）是典型有效的资源利用率提升手段。业务可根据时延敏感性分为高优先级业务和低优先级业务。当高优先级业务和低优先级业务发生资源竞争时，需优先保障高优先级业务的资源供给。业务混部的核心技术是资源隔离控制，主要涉...

随着网络与计算业务的快速发展，数据成为数字经济的关键生产要素，如何高质量挖掘数据价值，构建安全、合规、可信的数据流通，成为推动数字经济健康发展的关键。此外，根据我国个人信息保护法、欧盟通用数据保护条例GDPR等的要求可以看出，数据隐私监管保护的范围在扩大，保护力度日益增强。因此，对关键数据和业务进行安全保护，不仅是技术挑战，也是满足安全合规的必要条件。当前保护数据的通行方案通常作用于静态存储或网络...

在云原生场景下，容器和Kubernetes在开发、测试、生产中的应用越来越广泛，传统的操作系统往往会带来安全性、运维开销、OS版本等方面的问题，容器操作系统即容器OS是针对云原生场景设计的一种轻量化操作系统。本次分享首先介绍容器OS的理念，然后分享在openEuler社区孵化的容器操作系统KubeOS的设计思路和解决的问题，最后深入介绍KubeOS的架构、功能和使用。本文整理自华为操作系统开发工程师、KubeOS开源项目负责人李元戎在DI...

​​欧拉开源社区的RFOSIG正在努力将openEuler与Rancher整合​​，以推动社区的云原生版图发展。而openEuler如何在云环境开箱即用是一个非常重要的基础，承接​​上篇文章​​，本篇将主要介绍openEulerAWSAMI镜像制作的详细过程。通过创建AWSAMI镜像可将openEuler与AWS云服务相结合，支持云环境中标准的sshkey注入、分区扩容、用户数据执行等功能，并使用cloudinit机制实现自动启动RancherRKE2集群。今后，openEulerCloudImage...

1、问题来源看到Elasticsearch数据导出需求，我的第一反应是，好好的为啥要导出？写入的时候直接写给定格式的文件如CSV不就可以了。其实真实的业务场景，远非我想的这么简单。Elasticsearch作为存储库和检索源，相关的输入数据来源早已包罗万象、几乎“无所不能”。如下图所示：关系型数据库（MySQL、Oracle、PostgreSQL）、非关系型数据库（MongoDB）、大数据引擎（Kafka、Spark、Hadoop、Hbase、Flink）、内存数据库（Redis）...

1、什么是Mapping“爆炸”？Elasticsearch映射如果不做特殊处理，默认dynamic为true。dynamic为true的确切含义是：根据导入的数据自定识别字段类型（有可能不精确），也就是说，可以提前不指定Mapping，也能写入数据。但，这导致的问题也非常明显。Mapping字段越多，会超过默认字段数上限。超过上限后会导致性能下降和内存问题，特别是在高负载或资源有限的集群中表现更为突出。举例：index.mapping.totalfields.limit限制的​...

7月2号买的实体书，断断续续已读过两遍，樊登读书听过7遍。读一遍有一遍的收获，且每次读完都会有新的认知。《纳瓦尔宝典》豆瓣5180人评价，评分8.5分。另外一本查理·芒格的商界畅销书《穷查理宝典》豆瓣共11648人（出版于6年前），评分8.6分。对比之后，可见一斑。多方评价看，《纳瓦尔宝典》的确是一本好书。但，现在给下结论还为时过早。一本好书需要经过岁月的洗礼、经得住时间的考验，大浪淘沙般由畅销书变成长销书（长，...

1、线上问题这个问题涉及到业务细节，至今没有定论。不过，该问题引发了我的思考。2、我的一点思考我们使用Elasticsearch到底用来做什么？除了Elasticsearch早已不是10年前因“菜谱”而火出技术圈的搜索引擎组件，它早已不是“单兵作战”，而是ELKB形成的ElasticStack“行走江湖”。但，至少技术选型涉及到大数据的检索几乎无一例外Elasticsearch都是“首发阵容”。2.1关于全文检索，用户更关注什么？关于全文搜索，《这就是搜...

1、企业级Elasticsearch8.X实战问题问题描述：有个聚合的需求，问下大家，一个索引中有时间字段要求计算本月和上月相比的环比上升比例？——来自GPVIP群2、问题释义2.1啥叫环比？环比是统计学术语，表示连续2个统计周期内的量的变化比。2.2Elasticsearch怎么做计算问题？其实这个问题比较大，从大的角度讲：Elasticsearch更适合做检索，能做脚本计算处理，但会有性能问题。官方明确强调：Avoidscript——Ifpossible,avoidusings...

1、企业级实战DSL（数据已经脱敏）2、大家可以看一下，能发现哪些问题？根据我的实战和咨询经验，我发现如下几个问题。当然，这是在和球友交流确认问题之后总结出来的。2.1问题1：bool组合嵌套过深。官方实际是有参数来约束的，indices.query.bool.maxnesteddepth——bool最大支持的嵌套层数是​​20​​，并且过大的嵌套层数会导致“堆栈溢出”异常问题。那bool组合嵌套越深是不是越慢呢？我拿228万+的微博数据（JMeter模拟100...

1、实战问题请问一下球主，es怎么配置可以把请求日志都打印出来。就是不管是调用借口，还是kibana查询数据，es能打印dsl的请求日志吗？？求指导。怎么配置？——问题来源：https:t.zsxq.com09vv8rqZj2、Elasticsearch日志必知必会2.1Elasticsearch日志用途集群状态监测和故障诊断。2.2Elasticsearch日志缺省路径$ESHOMElogs。如果命令行启动ES，则日志输出信息也是命令行。2.3Elasticsearch日志基于组件Log4j2​​https:logging...

1、问题引出如下样例数据已导入Elasticsearch，如何实现特定字段检索？并计算出特定子字段的长度？"message":"[策略排序]排序后结果:[{\"intentItems\":[\"200001\"],\"level\":1,\"moduleCode\":\"CENTERP2、问题拆解大前提：Elasticsearchdocument都是以json形式存储的。问题引出部分的数据不够规范，本意是json数据，实则存储为了字符串。存储为字符串就带来了后续检索的极大不便利性。所以，需要考虑做一下转换。转换的方式...

1、线上实战问题请教一下各位朋友，关于ngram的slop影响搜索结果？1、前置条件：商品A的SPUCodeText为：OWBB050C99JER0021001商品B的SPUCodeText为：VSA00293ABBLACKFW2022商品C的SPUCodeText为：2WHGG0VNT03HHFC99FW20222、现况：搜索商品A的SPUCodeText编码：OWBB050，slop设置为4954无法查询出该商品；slop设置为55及其以上的值，才可以查询出商品A；3、追求目标：搜索SPUCodeText任意一组4个数字及其以上的组合，即可查询出...

1、自动补全或前缀匹配检索实现效果图Elasticsearch能实现自动补全检索的方案很多，可以简单归结为如下几种不同的方案：方案一：​​Prefix​​前缀匹配检索。方案二：​​MatchPhraseprefix​​短语前缀匹配检索。方案三：更细粒度的​​ngram​​分词间接解决前缀匹配检索。方案四：​​Searchasyourtype​​类型。方案五：​​CompletionSuggest​​自动补全。方案一、方案二的样例数据如下所示：PUTworldcupindex{"mappings...