专题出品人: 罗李

滴滴 大数据平台负责人

专题:大数据前沿

现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。

本专题下的议题

Clickhouse——战斗民族的极速开源引擎
郭炜 易观 CTO
所属专题:大数据前沿

课程概要

案例背景介绍:
Clickhouse 是俄罗斯Yandex公司研发的新一代开源数据引擎。它的特色就是单表查询速度数倍于常用的spark, hive等。

解决思路/成功要点:
首先会比对下clickhouse 与目前主流的开源数据库的性能比较,从而演化出clickhouse使用场景和基本原理,最后介绍下clickhouse 最新的feature,供开发者学习

成果:
Clickhouse 性能卓越,被广泛应用于单表查询的各种场景,例如用户行为分析、日志分析等等

听众收益

1. 了解到目前开源数据库整体的性能情况 2.了解速度最快的clickhouse 使用场景基本原理 3. 清楚clickhouse 未来发展情况和趋势

实时计算在滴滴出行的实践之路
梁李印 滴滴 实时计算负责人
所属专题:大数据前沿

课程概要

案例背景介绍:
滴滴实时计算应用场景丰富,每天有PB级别的数据量,如何提供一个稳定、高效、易用的、低成本的实时计算基础设施是面临的主要挑战。

解决思路/成功要点:
面对挑战,滴滴实时计算经历了服务化、平台化、SQL化等多个发展阶段,并成功让Flink成为核心流计算引擎。

成果:
构建了一站式实时计算基础设施和开发平台,满足了多样化的实时计算场景需求。

听众收益

1.了解滴滴实时计算发展之路;2.了解滴滴实时计算平台架构;3.了解滴滴实时计算实践经验

Dorado: 字节跳动一站式大数据任务开发调度平台实践
丁桂涛 字节跳动 数据平台架构师
所属专题:大数据前沿

课程概要

案例背景介绍:
在字节跳动这样一个数据驱动的公司里,有很多大数据开发的场景。随着业务的快速发展,我们在大数据任务的开发和调度方面遇到了很多挑战: 1. 任务依赖关系复杂,难以管理; 2. 任务量大,调度和执行效率低;3. 开发门槛高,运维成本大; 4. ... ... 基于实际的业务场景,我们研发了全新的任务开发调度平台:Dorado。

解决思路/成功要点:
Dorado 系统对任务的开发、调度、执行进行了服务拆分,提供了分布式、高可用、可扩展的一站式大数据任务开发和调度云平台。

成果:
Dorado 平台已经同时支持了离线和流式任务的托管,能够保障节点任务和工作流任务的秒级调度,支持 MR、Spark、Shell 等任务类型的开发执行和各异构数据源之间的一键高效传输,支持指定节点的重跑和下游回溯,目前正服务于字节跳动多条业务线的数据开发和调度工作。

听众收益

1. 了解大数据任务开发的常见业务场景;2. 了解分布式任务/工作流调度的架构设计;3. 分享平台新老升级的心路历程

滴滴出行技术研究员,滴滴基础平台部-大数据架构部门负责人,负责大数据架构团队下的实时,离线,NOSQL,OLAP等各大数据存储计算引擎的开发,测试,升级,上线,以及线上运维,数据开发平台和产品等各团队的技术和团队工作。前阿里巴巴高级技术专家,阿里云梯创始人之一,云梯负责人,先后在阿里巴巴搜索技术中心,阿里集团研发院,阿里云,淘宝数据团队等多个部门服务。主要负责阿里集团分布式系统,hadoop系统等版本的开发,测试,性能瓶颈分析,性能优化,集群管理,集群维护和监控,应用团队分布式技术支持,公司内部培训和hadoop技术在阿里集团内的推广等工作。

专题:大数据前沿

现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。

其他相关专题

CopyRight © 2008-2019 Msup & 高可用架构