专题出品人: 张亮

京东数科 数据研发负责人

专题:中间件

中间件是大型互联网架构基础设施最重要的一部分,学习中间件设计,提升架构的最快途径。中间件经过多年的发展,一方面可以很好的平台化,一方面可以更好的支撑上层应用,从而解决软件复用的问题。在本论坛中,我们邀请了专家探讨几种常见的中间件,比如消息中间件,数据库中间件等。

本专题下的议题

云化数据架构下的Apache ShardingSphere(Incubating)生态
张亮 京东数科 数据研发负责人
所属专题:中间件

课程概要

面对微服务架构中越来越多的数据库垂直拆分,以及数据量急剧膨胀后的数据库水平拆分,云原生及分布式数据库中间件架构等已成为大家关注的热点。 数据库中间件在分布式的创新,及对原有数据库的兼容两方面兼顾。是包含大规模数据的OLTP应用系统中行之有效的解决方案。

解决思路/成功要点:
Apache ShardingSphere(Incubating)为了解决数据膨胀问题,以及解决数据膨胀之后所带来的一系列新问题,抽象了一套解决方案,并且逐渐向生态打造的方向发展。它涉及到以下几个方面: 1)数据膨胀带来的问题以及解决方案 2)ShardingSphere的数据库中间件生态 3)透明化及高自由度的数据分片 4)刚柔并济的分布式事务 5)数据库治理 6)弹性数据迁移 7)数据对接生态

成果:
Apache ShardingSphere(Incubating)是京东集团首个进入Apache基金会的孵化项目,也是首个进入Apache基金会数据库中间件产品。这款产品拥有在Github上近7000 star、以及70+企业公司案例的落地。它作为京东数科多个核心产品,如:京东白条等系统的数据层依托。



听众收益

1、了解面对数据量增长之后,系统在数据架构的优化方案
2、了解数据库中间件生态
3、了解Apache ShardingSphere核心功能

蚂蚁金服大规模分布式事务实践和开源介绍
张森 蚂蚁金服 中间件团队技术专家
所属专题:中间件

课程概要

案例背景介绍:
在大规模金融业务向分布式架构转型过程中,数据库被水平拆分,服务按照功能进行解耦和拆分,一个业务活动通常要跨多个数据库和微服务,而网络、机器等资源的不可靠性,使得数据一致性问题成为大型金融科技企业向分布式架构转型的主要挑战之一;为了保障分布式架构下业务数据的一致性,蚂蚁金服自主研发了分布式事务中间件,解决跨数据库、跨服务的事务问题。蚂蚁金服的分布式事务经过多年发展之后,我们计划逐步将其开源,与社区一起分享蚂蚁和阿里的科技成果,开源产品Seata由蚂蚁和阿里共同建设,希望与社区共同打造分布式事务标杆。

解决思路/成功要点:
蚂蚁金服内部大量使用TCC解决跨服务事务问题,TCC是一种高性能灵活的事务解决方案,支持了蚂蚁金服双十一的高性能需求,支持了异地多活的高可用需求;此外,为了让分布式事务使用更加便捷,我们推出AT、XA 两种无侵入的事务解决方案;当前蚂蚁的分布式事务解决方案主要有TCC、AT和XA 三种模式,丰富的模式覆盖了分布式事务的各类使用场景。

成果:
蚂蚁金服分布式事务经过12年的发展和演进,积累了TCC、AT、XA 三种使用模式,有丰富的应用场景,在高性能和高用方面也有大量实践经验;我们将分布式事务开源,与社区一起分享蚂蚁和阿里的科技成果,开源产品Seata中将逐步集成 AT、TCC、和XA三种模式,Seata在社区也收到广泛的关注。

听众收益

1.了解分布式事务问题产生的背景和基本理论;
2.了解蚂蚁分布式事务中间件的功能特性、实现原理和实践经验;
3.了解分布式事务开源产品Seata的现状、发展方向;

下一代分布式消息系统Apache Pulsar
翟佳 StreamNative 核心工程师
所属专题:中间件

课程概要

案例背景介绍:
在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中,多租户,多机房互备等企业级的特性和功能也不太丰富。

解决思路/成功要点:
Apache Pulsar采用了分层的架构,解决了存储计算的耦合,同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象,提供了统一的消息消费模型。特别是在Pulsar的设计之初,就注重对多租户,多机房互备等方面的需求,提供了众多完备的企业级的特性。

成果:
Apache Pulsar从2015年初在Yahoo全球近十个机房内部大规模部署,稳定服务了Yahoo内部邮箱,金融,Flickr,广告,NoSQL等众多的应用场景,一共创建了80多个租户,230多万个topic。 智联招聘在18年用Pulsar替换了线上原有的RabbitMQ,作为内部的消息总线,服务内部的20多个应用,每天会产生6亿多条消息和3TB的数据。在减轻硬件,运维和部署成本的同时,为系统提供了更好的服务质量和扩展性。

听众收益

1.了解消息系统的架构和发展趋势;
2.理解Apache Pulsar的特性;
3.理解Apache Pulsar和其他系统的根本不同;
4.Apache Pulsar的社区现状和发展规划。

热爱开源,目前主导开源项目ShardingSphere(原名Sharding-JDBC)和Elastic-Job。擅长以java为主分布式架构以及以Kubernetes和Mesos为主的云平台方向,推崇优雅代码,对如何写出具有展现力的代码有较多研究。
目前主要精力投入在将ShardingSphere打造为业界一流的金融级数据解决方案之上。ShardingSphere已经进入Apache孵化器,是京东集团首个进入Apache基金会的开源项目,也是Apache基金会首个分布式数据库中间件。
于2019年初出版书籍《未来架构——从服务化到云原生》

专题:中间件

中间件是大型互联网架构基础设施最重要的一部分,学习中间件设计,提升架构的最快途径。中间件经过多年的发展,一方面可以很好的平台化,一方面可以更好的支撑上层应用,从而解决软件复用的问题。在本论坛中,我们邀请了专家探讨几种常见的中间件,比如消息中间件,数据库中间件等。

其他相关专题

CopyRight © 2008-2019 Msup & 高可用架构