下一代分布式消息系统Apache Pulsar

案例来源:StreamNative
会议地点:深圳
分享时间: 2019-06-23 10:00-11:00

翟佳  |

StreamNative 核心工程师

翟佳是StreamNative的核心工程师。是开源项目Apache Pulsar和Apache BookKeeper的PMC成员和Committer。主要从事消息系统,实时计算和分布式存储相关的设计开发。曾先后就职于EMC和Streamlio。在EMC是北京实时处理平台的技术负责人,在Streamlio是团队的核心成员。

课程概要

案例背景介绍:
在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中,多租户,多机房互备等企业级的特性和功能也不太丰富。

解决思路/成功要点:
Apache Pulsar采用了分层的架构,解决了存储计算的耦合,同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象,提供了统一的消息消费模型。特别是在Pulsar的设计之初,就注重对多租户,多机房互备等方面的需求,提供了众多完备的企业级的特性。

成果:
Apache Pulsar从2015年初在Yahoo全球近十个机房内部大规模部署,稳定服务了Yahoo内部邮箱,金融,Flickr,广告,NoSQL等众多的应用场景,一共创建了80多个租户,230多万个topic。 智联招聘在18年用Pulsar替换了线上原有的RabbitMQ,作为内部的消息总线,服务内部的20多个应用,每天会产生6亿多条消息和3TB的数据。在减轻硬件,运维和部署成本的同时,为系统提供了更好的服务质量和扩展性。

听众收益

1.了解消息系统的架构和发展趋势;
2.理解Apache Pulsar的特性;
3.理解Apache Pulsar和其他系统的根本不同;
4.Apache Pulsar的社区现状和发展规划。

翟佳  |

StreamNative
核心工程师

翟佳是StreamNative的核心工程师。是开源项目Apache Pulsar和Apache BookKeeper的PMC成员和Committer。主要从事消息系统,实时计算和分布式存储相关的设计开发。曾先后就职于EMC和Streamlio。在EMC是北京实时处理平台的技术负责人,在Streamlio是团队的核心成员。

课程概要

案例背景介绍:
在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中,多租户,多机房互备等企业级的特性和功能也不太丰富。

解决思路/成功要点:
Apache Pulsar采用了分层的架构,解决了存储计算的耦合,同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象,提供了统一的消息消费模型。特别是在Pulsar的设计之初,就注重对多租户,多机房互备等方面的需求,提供了众多完备的企业级的特性。

成果:
Apache Pulsar从2015年初在Yahoo全球近十个机房内部大规模部署,稳定服务了Yahoo内部邮箱,金融,Flickr,广告,NoSQL等众多的应用场景,一共创建了80多个租户,230多万个topic。 智联招聘在18年用Pulsar替换了线上原有的RabbitMQ,作为内部的消息总线,服务内部的20多个应用,每天会产生6亿多条消息和3TB的数据。在减轻硬件,运维和部署成本的同时,为系统提供了更好的服务质量和扩展性。

听众收益

1.了解消息系统的架构和发展趋势;
2.理解Apache Pulsar的特性;
3.理解Apache Pulsar和其他系统的根本不同;
4.Apache Pulsar的社区现状和发展规划。

CopyRight © 2008-2019 Msup & 高可用架构