上篇文章openEuler用户软件仓(EUR)介绍分享了什么是EUR以及为什么要使用EUR。本文将为大家分享openEuler用户软件仓(EUR)的使用方法,帮助大家在EUR中构建自己的软件包。基本概念在使用用户软件仓前,有如下几个概念需要您了解:用户:用户是使用本系统的主体,也是所有操作的发起者;项目:每个用户可以创建多个项目,项目用于组织一个或多个软件包,每个项目可以针对这组软件包生成针对各个openEuler版本的软件包...
2023-05-08 16:26:35 175浏览 0点赞 0回复 0收藏
什么是EUREUR(openEulerUserRepo)是openEuler社区针对开发者推出的个人软件包托管平台,目的在于为开发者提供一个易用的软件包分发平台。链接:https:eur.openeuler.openatom.cn为什么我们需要EUR在操作系统的世界,软件包是一等公民,软件包的丰富程度和是否易于分发,一定程度上决定了操作系统用户和开发者的使用体验,试想一下这种情况:1.开发者希望自己尚在开发中的软件能够尽早的与openEuler社区持续的集成并发布...
2023-05-08 16:25:47 192浏览 0点赞 0回复 0收藏
可重复构建(ReproducibleBuilds)是证明软件供应链安全的必要手段,2022已被纳入SupplyChainSecurityCon的topics以及微软的S2C2F(SecureSupplyChainConsumptionFramework)当中,并受到了Google开源安全团队的支持赞助。OpenSSFSLSA在软件供应链完整性与包管理最佳实践中也对可重复构建有所要求。2022年openEuler已初步建设可重复构建能力。什么是可重复构建对于可重复的构建,给定相同的源代码、构建环境和构建指令,任何人...
2023-05-08 16:18:41 187浏览 0点赞 0回复 0收藏
案例1云原生场景下Java类应用性能问题诊断1.场景及案例介绍某Kafkaproducer客户端Java应用版本升级后性能出现下降,性能从222WTPS下降到65WTPS,吞吐量从337MBs下降到95.9MBs,如下图所示(为了便于比较,在不同POD里同时启动升级前后的两个应用):可见,Kafka客户端应用的性能出现了明显的下降,但此时Kafka服务端较轻载,CPU0.7%,内存16.8%,说明性能劣化是由于客户端应用的问题导致。Kafka服务端资源情况如下:2.性能问题...
2023-05-08 16:16:36 202浏览 0点赞 0回复 0收藏
最近我们关注到一个关于containerd运行时的issue(https:github.comcontainerdcontainerdissues7843),该问题在containerdv1.6.9v1.5.15被引入。出现的问题是,当containerd重启后,在其中运行的Pod元数据中关于网络相关的数据(如podip)丢失,核心原因在于部分数据没有落盘。受影响的版本:v1.6.9v1.6.14,问题在v1.6.15版本中被修复。v1.5.15v1.5.16,问题在v1.5.17版本中被修复。通过以下步骤,可以快速重现该问题...
2023-05-08 16:15:14 139浏览 0点赞 0回复 0收藏
虚拟机混合部署是指把对CPU、IO、Memory等资源有不同需求的虚拟机通过调度方式部署、迁移到同一个计算节点上,从而使得节点的资源得到充分利用。虚拟机混合部署的场景有多种,比如通过动态资源调度满足节点资源的动态调整;根据用户使用习惯动态调整节点虚拟机分布等等。而虚拟机高低优先级调度也是其中的一种实现方法。在单机的资源调度分配上,区分出高低优先级,即高优先级虚机和低优先级虚机发生资源竞争时,资源优先分配给...
2023-05-08 16:14:45 194浏览 0点赞 0回复 0收藏
随着云计算市场规模的快速增长,各云厂商基础设施投入也不断增加,但行业普遍存在资源利用率低的问题,在上述背景下,提升资源利用率已经成为了一个重要的技术课题。将业务区分优先级混合部署(下文简称混部)是典型有效的资源利用率提升手段。业务可根据时延敏感性分为高优先级业务和低优先级业务。当高优先级业务和低优先级业务发生资源竞争时,需优先保障高优先级业务的资源供给。业务混部的核心技术是资源隔离控制,主要涉...
2023-05-08 15:52:20 182浏览 0点赞 0回复 0收藏
随着网络与计算业务的快速发展,数据成为数字经济的关键生产要素,如何高质量挖掘数据价值,构建安全、合规、可信的数据流通,成为推动数字经济健康发展的关键。此外,根据我国个人信息保护法、欧盟通用数据保护条例GDPR等的要求可以看出,数据隐私监管保护的范围在扩大,保护力度日益增强。因此,对关键数据和业务进行安全保护,不仅是技术挑战,也是满足安全合规的必要条件。当前保护数据的通行方案通常作用于静态存储或网络...
2023-05-08 15:51:52 309浏览 0点赞 0回复 0收藏
在云原生场景下,容器和Kubernetes在开发、测试、生产中的应用越来越广泛,传统的操作系统往往会带来安全性、运维开销、OS版本等方面的问题,容器操作系统即容器OS是针对云原生场景设计的一种轻量化操作系统。本次分享首先介绍容器OS的理念,然后分享在openEuler社区孵化的容器操作系统KubeOS的设计思路和解决的问题,最后深入介绍KubeOS的架构、功能和使用。本文整理自华为操作系统开发工程师、KubeOS开源项目负责人李元戎在DI...
2023-05-08 15:50:57 169浏览 0点赞 0回复 0收藏
欧拉开源社区的RFOSIG正在努力将openEuler与Rancher整合,以推动社区的云原生版图发展。而openEuler如何在云环境开箱即用是一个非常重要的基础,承接上篇文章,本篇将主要介绍openEulerAWSAMI镜像制作的详细过程。通过创建AWSAMI镜像可将openEuler与AWS云服务相结合,支持云环境中标准的sshkey注入、分区扩容、用户数据执行等功能,并使用cloudinit机制实现自动启动RancherRKE2集群。今后,openEulerCloudImage...
2023-05-08 15:49:35 184浏览 0点赞 0回复 0收藏
1、问题来源看到Elasticsearch数据导出需求,我的第一反应是,好好的为啥要导出?写入的时候直接写给定格式的文件如CSV不就可以了。其实真实的业务场景,远非我想的这么简单。Elasticsearch作为存储库和检索源,相关的输入数据来源早已包罗万象、几乎“无所不能”。如下图所示:关系型数据库(MySQL、Oracle、PostgreSQL)、非关系型数据库(MongoDB)、大数据引擎(Kafka、Spark、Hadoop、Hbase、Flink)、内存数据库(Redis)...
2023-02-01 11:11:57 1289浏览 0点赞 0回复 0收藏
1、什么是Mapping“爆炸”?Elasticsearch映射如果不做特殊处理,默认dynamic为true。dynamic为true的确切含义是:根据导入的数据自定识别字段类型(有可能不精确),也就是说,可以提前不指定Mapping,也能写入数据。但,这导致的问题也非常明显。Mapping字段越多,会超过默认字段数上限。超过上限后会导致性能下降和内存问题,特别是在高负载或资源有限的集群中表现更为突出。举例:index.mapping.totalfields.limit限制的...
2023-02-01 11:11:24 1581浏览 0点赞 0回复 0收藏
7月2号买的实体书,断断续续已读过两遍,樊登读书听过7遍。读一遍有一遍的收获,且每次读完都会有新的认知。《纳瓦尔宝典》豆瓣5180人评价,评分8.5分。另外一本查理·芒格的商界畅销书《穷查理宝典》豆瓣共11648人(出版于6年前),评分8.6分。对比之后,可见一斑。多方评价看,《纳瓦尔宝典》的确是一本好书。但,现在给下结论还为时过早。一本好书需要经过岁月的洗礼、经得住时间的考验,大浪淘沙般由畅销书变成长销书(长,...
2023-02-01 11:10:48 894浏览 0点赞 0回复 0收藏
1、线上问题这个问题涉及到业务细节,至今没有定论。不过,该问题引发了我的思考。2、我的一点思考我们使用Elasticsearch到底用来做什么?除了Elasticsearch早已不是10年前因“菜谱”而火出技术圈的搜索引擎组件,它早已不是“单兵作战”,而是ELKB形成的ElasticStack“行走江湖”。但,至少技术选型涉及到大数据的检索几乎无一例外Elasticsearch都是“首发阵容”。2.1关于全文检索,用户更关注什么?关于全文搜索,《这就是搜...
2023-02-01 11:08:59 645浏览 0点赞 0回复 0收藏
1、企业级Elasticsearch8.X实战问题问题描述:有个聚合的需求,问下大家,一个索引中有时间字段要求计算本月和上月相比的环比上升比例?——来自GPVIP群2、问题释义2.1啥叫环比?环比是统计学术语,表示连续2个统计周期内的量的变化比。2.2Elasticsearch怎么做计算问题?其实这个问题比较大,从大的角度讲:Elasticsearch更适合做检索,能做脚本计算处理,但会有性能问题。官方明确强调:Avoidscript——Ifpossible,avoidusings...
2023-02-01 11:08:37 927浏览 0点赞 0回复 0收藏
1、企业级实战DSL(数据已经脱敏)2、大家可以看一下,能发现哪些问题?根据我的实战和咨询经验,我发现如下几个问题。当然,这是在和球友交流确认问题之后总结出来的。2.1问题1:bool组合嵌套过深。官方实际是有参数来约束的,indices.query.bool.maxnesteddepth——bool最大支持的嵌套层数是20,并且过大的嵌套层数会导致“堆栈溢出”异常问题。那bool组合嵌套越深是不是越慢呢?我拿228万+的微博数据(JMeter模拟100...
2023-02-01 11:08:01 1646浏览 0点赞 0回复 0收藏
1、实战问题请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指导。怎么配置?——问题来源:https:t.zsxq.com09vv8rqZj2、Elasticsearch日志必知必会2.1Elasticsearch日志用途集群状态监测和故障诊断。2.2Elasticsearch日志缺省路径$ESHOMElogs。如果命令行启动ES,则日志输出信息也是命令行。2.3Elasticsearch日志基于组件Log4j2https:logging...
2023-02-01 11:06:09 2223浏览 0点赞 0回复 0收藏
1、问题引出如下样例数据已导入Elasticsearch,如何实现特定字段检索?并计算出特定子字段的长度?"message":"[策略排序]排序后结果:[{\"intentItems\":[\"200001\"],\"level\":1,\"moduleCode\":\"CENTERP2、问题拆解大前提:Elasticsearchdocument都是以json形式存储的。问题引出部分的数据不够规范,本意是json数据,实则存储为了字符串。存储为字符串就带来了后续检索的极大不便利性。所以,需要考虑做一下转换。转换的方式...
2023-02-01 11:05:41 748浏览 0点赞 0回复 0收藏
1、线上实战问题请教一下各位朋友,关于ngram的slop影响搜索结果?1、前置条件:商品A的SPUCodeText为:OWBB050C99JER0021001商品B的SPUCodeText为:VSA00293ABBLACKFW2022商品C的SPUCodeText为:2WHGG0VNT03HHFC99FW20222、现况:搜索商品A的SPUCodeText编码:OWBB050,slop设置为4954无法查询出该商品;slop设置为55及其以上的值,才可以查询出商品A;3、追求目标:搜索SPUCodeText任意一组4个数字及其以上的组合,即可查询出...
2023-01-31 14:56:46 773浏览 0点赞 0回复 0收藏
1、自动补全或前缀匹配检索实现效果图Elasticsearch能实现自动补全检索的方案很多,可以简单归结为如下几种不同的方案:方案一:Prefix前缀匹配检索。方案二:MatchPhraseprefix短语前缀匹配检索。方案三:更细粒度的ngram分词间接解决前缀匹配检索。方案四:Searchasyourtype类型。方案五:CompletionSuggest自动补全。方案一、方案二的样例数据如下所示:PUTworldcupindex{"mappings...
2023-01-31 14:55:43 2008浏览 0点赞 0回复 0收藏