日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

  • 时间:
  • 浏览:1
  • 来源:大发5分6合APP下载_大发5分6合APP官网

作者:微博广告数据平台

百亿级全网舆情分析系统存储设计

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;机会您发现本社区蕴含涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

相比于 Spark,目前 Spark 的生态总体更为完善你这一 ,且在机器学习的集成和应用性暂时领先。但作为下一代大数据引擎的有力竞争者-Flink 在流式计算上有明显优势,Flink 在流式计算里属于真正意义上的单条处理,每四根数据都触发计算,而都不 像 Spark 一样的 Mini Batch 作为流式处理的妥协。Flink 的容错机制较为轻量,对吞吐量影响较小,假如拥有图和

下拉加载更多

系列文章:Kubernetes日志方案设计思路

日均处理万亿数据!Flink在快手的应用实践与技术演进之路

美团点评基于 Flink 的实时数仓平台实践

随着微博业务线的快速扩张,微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

2016年大数据50篇爆款文章:你这一 年你追过的什么技术

规模、性能、弹性全面升级,让天下没人 难用的 K8s

揭秘百亿级云客服实九时析架构是为什么会么会会 炼成的?

规模、性能、弹性全面升级,让天下没人 难用的 K8s

阿里开发者招聘节 | 阿里巴巴数据技术及产品部诚招技术人才啦!

情人节来了!多线程 员应该如保优雅的度过?

日访问量百亿级的应用如保做缓存收集

阿里云 PB 级 Kubernetes 日志平台建设实践

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

2684亿销售额身前的阿里AI技术

日均处理万亿数据!Flink在快手的应用实践与技术演进之路

基于 Flink 的实时数仓生产实践