快手数据总线KBus的设计和实践

课程 ID: 16301

描述:
案例背景: 快手初期内部使用的是SDK化数据总线组件,随着业务增长不可避免的出现了SDK形式可管控性弱、无法快速迭代升级等问题。为了更好的满足业务需求,我们建设了数据总线中间件解耦增量流的抓取与订阅,支撑业务的高速发展。 解决思路: 1. 服务化增量流抓取分发任务,容器化弱状态支持横向扩展 2. 数据通道使用MQ及消费代理应对多样的订阅需求 3. 建设周边托管消费实时校验服务,补齐端到端能力 成果: 在快手主站、电商、商业化、海外、增长等部门大规模使用,承载多样的增量流传输业务场景