加入收藏 | 设为首页 | 会员中心 | 我要投稿 鹤壁站长网 (https://www.0392zz.cn/)- 分布式云、存储数据、视频终端、媒体处理、内容创作!
当前位置: 首页 > 站长资讯 > 评论 > 正文

释放网络潜能,激发商业增长

发布时间:2021-02-18 12:24:02 所属栏目:评论 来源:互联网
导读:一步分析如下: ES 节点内存主要是被 JVM 以及 PageCache 内存占用 Jvm 内存是被 java 独占,该部分内存是不会被回收 PageCache 内存由操作系统维护,该部分内存是可以被回收的 正常情况下,如果系统内存不足,则内核通过回收 PageCache 的内存即可提供足够

一步分析如下:

  • ES 节点内存主要是被 JVM 以及 PageCache 内存占用
  • Jvm 内存是被 java 独占,该部分内存是不会被回收
  • PageCache 内存由操作系统维护,该部分内存是可以被回收的

正常情况下,如果系统内存不足,则内核通过回收 PageCache 的内存即可提供足够的空闲内存,即不会内存不足的情况;反过来说,当前出现内存不足,则说明 PageCache 未被正常回收,于是针对内存优化则聚焦到 PageCache 回收问题上。

针对 PageCache 回收问题,首先我们先明确什么因素导致 PageCache 不能及时回收,其中 MMap 就可能导致 PageCache 不能正常回收,原因是 MMap 后应用程序会引用到这部分内存,则内核在回收内存时会忽略这部分内存。而 ES 节点读取文件的方式默认就是 MMap,整体的内存关联关系如下图:

 

那么是什么原因导致 ES 节点的 CPU 抖动呢?首先我们先确定 CPU 抖动时系统具体在做什么,根据已有经验,很有可能是 ES 热点线程或 GC 导致的,但是在分析 CPU 抖动时 user 和 system 进程占比情况,其中 user 进程 CPU 占比基本没有变化,而 system 进程 CPU 却增长很多,由于 ES 热点线程或 GC 是 user 进程,所以排除了这里的影响。通过系统相关统计以及 perf 得到下面现象:

  • 抖动时系统在大量扫描可回收内存


单平台主要包括两部分:

  • 逻辑侧:业务侧直接对接模块,主要是降低业务接入成本,提高接入效率;
  • 存储侧:包含 ES 以及接入层 ESProxy,接入层对上屏蔽索引划分机制,方便上层使用;

当前微信支付对整体质量要求非常高,体现在可用性方面是需要达到 99.99%,同样账单平台也需要达到甚至超过该要求。但是在 ES 及系统环境未做优化的情况下,读写成功率是没有达到要求,在个人账单 ES 索引场景下,写成功率为 99.85%,读成功率为 99.95%,所以这里亟需优化。

二、内存回收慢优化

问题分析

针对读写成功率低问题,我们首先查看存储侧接入层 ESProxy 超时失败的情况,对应如下图:


 

由于四舍五入,一些数字可能与所显示的总数相加不完全。

资料来源:Gartner(2020年7月)

Takiishi先生说:“尽管由于COVID-19危机(不包括大中华区和日本),2020年5G的投资增长率略有下降,但所有地区的CSP都在迅速转移新的、可自由支配的开支,以构建5G网络和5G作为平台。”。

从短期来看,大中华地区在5G发展方面处于世界领先地位,2020年全球49.4%的投资都来自该地区。在中国制造的具有成本效益的基础设施,加上国家的赞助以及减少的监管壁垒,为中国主要的CSP快速建立5G覆盖铺平了道路。Takiishi先生说:“但是,其他采用较早且技术娴熟的国家也相距不远。”

Gartner预计,随着CSP寻求利用人口对通信网络的高度依赖引发的行为改变,5G投资将在2021年温和反弹。2022年5G投资将超过LTE/4G。

CSP将逐步向其非独立(NSA)5G网络添加独立(SA)功能,Gartner预测,到2023年,全球15%的CSP将运行不依赖4G网络基础设施的独立5G网络。这将迅速转移LTE/4G的无线投资,传统RAN基础设施的开支将迅速下降。


 

(编辑:鹤壁站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读