加入收藏 | 设为首页 | 会员中心 | 我要投稿 鹤壁站长网 (https://www.0392zz.cn/)- 分布式云、存储数据、视频终端、媒体处理、内容创作!
当前位置: 首页 > 站长资讯 > 外闻 > 正文

固网宽带用户总数达4.76亿

发布时间:2021-02-07 14:13:42 所属栏目:外闻 来源:互联网
导读:前端采用的是开源组件Ant Design,利用了Nginx服务器,部署静态页面,并反向代理了浏览器的请求到后台服务器上。 后台服务是基于腾讯自研的RPC后台服务框架写的,并且会进行一些二级缓存。 实时数仓部分,分为了接入层、实时计算层和实时数仓存储层。 接入层

前端采用的是开源组件Ant Design,利用了Nginx服务器,部署静态页面,并反向代理了浏览器的请求到后台服务器上。

后台服务是基于腾讯自研的RPC后台服务框架写的,并且会进行一些二级缓存。

实时数仓部分,分为了接入层、实时计算层和实时数仓存储层。

  •  接入层主要是从千万级/s的原始消息队列中,拆分出不同行为数据的微队列,拿看点的视频来说,拆分过后,数据就只有百万级/s了;
  •  实时计算层主要负责,多行行为流水数据进行行转列,实时关联用户画像数据和内容维度数据;
  •  实时数仓存储层主要是设计出符合看点业务的,下游好用的实时消息队列。我们暂时提供了两个消息队列,作为实时数仓的两层。一层DWM层是内容ID-用户ID粒度聚合的,就是一条数据包含内容ID-用户ID还有B侧内容数据、C侧用户数据和用户画像数据;另一层是DWS层,是内容ID粒度聚合的,一条数据包含内容ID,B侧数据和C侧数据。可以看到内容ID-用户ID粒度的消息队列流量进一步减小到十万级/s,内容ID粒度的更是万级/s,并且格式更加清晰,维度信息更加丰富。

实时存储部分分为实时写入层、OLAP存储层和后台接口层。

  •  实时写入层主要是负责Hash路由将数据写入;
  •  OLAP存储层利用MPP存储引擎,设计符合业务的索引和物化视图,高效存储海量数据;
  •  后台接口层提供高效的多维实时查询接口。

七、实时计算
 

我们多维实时数据分析系统分为三大模块:

  •  实时计算引擎;
  •  实时存储引擎;
  •  App层。

难点主要在前两个模块:实时计算引擎和实时存储引擎。

  •  千万级/s的海量数据如何实时接入,并且进行极低延迟维表关联;
  •  实时存储引擎如何支持高并发写入、高可用分布式和高性能索引查询,是比较难的。

这几个模块的具体实现,看一下我们系统的架构设计。

六、架构设计
 

其实早在2013年,国内首家互联网校园贷就诞生了,那一年也被称作“互联网金融元年”。但随着各种网贷企业的蜂拥而至,这一行业变得鱼龙混杂、越跑越偏,各种负面新闻层出不穷,恶性事件频发。

由于贷款门槛低、审核程序简易,网络贷款逐渐成为了大学生们的首选。但日渐高涨的利息却让绝大多数大学生无力偿还,面对这种情况,网贷平台为了收取利益,开始暴力催收。

“套路贷”案例

2016年3月,原本应该在大学校园度过美好时光的王某,没成想因为网贷的500元,让整个大学时光都伴随着“噩梦”。据了解,这名学生先后从22个不同的网贷平台借钱,虽然在短暂的时间内起到了一定的效果,满足了自己消费的欲望,但好景不长,最初借的500元钱仍像滚雪球一般,最终滚到了28万的巨额数字。无力偿还的王某不仅受到了网贷平台的谩骂,还以P过的不雅照要挟她。在经济压迫和精神压迫的双重打击下,几乎抑郁的王某在2019年3月选择报警。

(编辑:鹤壁站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读