Facebook的100种语言互译模型夸大宣传遭质疑

在进行开发之前，我们做了这些调研。

1.离线数据分析平台能否满足这些需求，结论是不能满足。离线数据分析平台不行的原因如下：

•  C侧数据上报过来，需要经过Spark的多层离线计算，最终结果出库到Mysql或者ES提供给离线分析平台查询。这个过程的延时最少3-6个小时，目前比较常见的都是提供隔天的查询，所以很多实时性要求高的业务场景都是不能满足的；
•  另一个问题是，腾讯看点的数据量太大，带来的不稳定性也比较大，经常会有预料不到的延迟。所以，离线分析平台是无法满足很多需求的。

2.实时数据分析平台的话，事业群内部提供了准实时数据查询的功能，底层技术用的是Kudu+Impala，Impala虽然是MPP架构的大数据计算引擎，并且访问以列式存储数据的Kudu。但是对于实时数据分析场景来说，查询响应的速度和数据的延迟都还是比较高，查询一次实时DAU，返回结果耗时至少几分钟，无法提供良好的交互式用户体验。

所以（Kudu+Impala）这种通用大数据处理框架的速度优势更多的是相比（Spark+Hdfs）这种离线分析框架来说的，对于我们这个实时性要求更高的场景，是无法满足的。

三、项目背景
 

导语

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍一下信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。

一、可解决的痛点

可以先看一下，多维实时数据分析系统可以解决哪些痛点。比如：

推荐同学10分钟前上了一个推荐策略，想知道在不同人群的推荐效果怎么样？

运营同学想知道，在广东省的用户中，最火的广东地域内容是哪些，方便做地域Push。

审核同学想知道，过去5分钟，游戏类被举报最多的内容和账号是哪些？

老板可能想了解，过去10分钟有多少用户在看点消费了内容，对消费人群有一个宏观了解。

二、调研
 

到了现在，智能化这一步，再自然不过。

其次美团本身，从业务出发。今年刚迈过创办十年的美团，不仅是中国科技互联网市值和体量TOP的公司，更是最大的生活服务平台。

中国人每日必须的吃、喝、玩，乐，从外卖、团购、电影……酒店出行，以及买菜社区购等等，美团解决的不仅是日常不必可少的需求，也实现了生活服务前所未有的供需生态。

在这个生态中，之前积累的动能，现在都在转换为势能。之前积累的数字化和自动化努力，现在都在为智能化升级而蓄力。

在生活服务相关的延长线上，美团不仅有最好的场景，也有最强大的基础设施和能力。

实现生活服务相关的智能化，没有人比美团更具优势。

第三，还有变革中的Robotics。无人零售和无人配送，都可以视为机器人技术的落地应用，之前都是硬件为重的领域。

（编辑：鹤壁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!