IT与业务如何实现1+1>2?
那就看下我们多维实时数据分析系统的方案选型,选型我们对比了行业内的领先方案,选择了最符合我们业务场景的方案。 第一块是实时数仓的选型,我们选择的是业界比较成熟的Lambda架构,他的优点是灵活性高、容错性高、成熟度高和迁移成本低;缺点是实时、离线数据用两套代码,可能会存在一个口径修改了,另一个没改的问题,我们每天都有做数据对账的工作,如果有异常会进行告警。 第二块是实时计算引擎选型,因为Flink设计之初就是为了流处理,SparkStreaming严格来说还是微批处理,Strom用的已经不多了。再看Flink具有Exactly-once的准确性、轻量级Checkpoint容错机制、低延时高吞吐和易用性高的特点,我们选择了Flink作为实时计算引擎。 第三块是实时存储引擎,我们的要求就是需要有维度索引、支持高并发、预聚合、高性能实时多维OLAP查询。可以看到,Hbase、Tdsql和ES都不能满足要求,Druid有一个缺陷,它是按照时序划分Segment,无法将同一个内容,存放在同一个Segment上,计算全局TopN只能是近似值,所以我们选择了最近两年大火的MPP数据库引擎ClickHouse。
五、设计目标与设计难点 经过刚才的介绍,再来看下我们这个项目的背景。 作者发文的内容被内容中心引入,经过内容审核链路,启用或者下架。启用的内容给到推荐系统和运营系统,然后推荐系统和运营系统将内容进行C侧分发。内容分发给C侧用户之后,用户会产生各种行为,曝光、点击、举报等,通过埋点上报实时接入到消息队列中。 接下来我们做了两部分工作,就是图中有颜色的这两部分。 第一部分构建了一个腾讯看点的实时数据仓库;第二部分就是基于OLAP存储引擎,开发了多维实时数据分析系统。 我们为什么要构建实时数仓,因为原始的上报数据量非常大,一天上报峰值就有上万亿条。而且上报格式混乱。缺乏内容维度信息、用户画像信息,下游没办法直接使用。而我们提供的实时数仓,是根据腾讯看点信息流的业务场景,进行了内容维度的关联,用户画像的关联,各种粒度的聚合,下游可以非常方便的使用实时数据。
四、方案选型 但在新技术周期里,与芯片、汽车一样,都在面临软件重新定义。这也给美团这样的算法和场景强大的公司,提供了准入的机会和窗口。 而且无独有偶,目前在无人配送和无人零售等Robotics领域发展最快最好的公司,清一色都是科技互联网公司,而且传统机器人巨头。 所以如此天时地利人和,一贯以深度思考著称的美团,又怎么会错过? 无论是对无人零售和无人配送的押注,还是整个智能化升级中的角色,都是一家千亿美元市值公司迈向万亿不容错过的战略航向。 重估美团 所以也是时候,重新审视、重新认知,重估美团了。 美团说,要帮大家吃得更好,生活更好。 但这种“吃得更好和生活的更好”背后,核心驱动引擎是技术。 所以从创办第一天起,美团始终被关注的就是科技底色和技术创新模式,在登陆港交所之时,也被以科技互联网IPO视之……其后股价和市值一骑绝尘,晋升千亿美元序列。 只不过易于忽略的是,美团实现这些,更主要的还是业务成绩和业务增长趋势,还不是平台和生态潜力。 现在,AI智慧门店MAI Shop——无人配送和无人零售,就是这种平台和生态潜力冰山一角的展示。 在大洋彼岸,亚马逊凭借这种平台和生态潜力,已经展示了无止境的进击。 而类似的美团,现在小荷才露尖尖角,对于美团的认知,或许是时候要刮目相待?
至少,是到提出这个问题的时候了。 (编辑:鹤壁站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |