专题出品人: 刘歧

北京区块云科技有限公司

专题:音视频

近年来,直播、短视频行业的相关业务发展迅猛,多媒体技术的应用场景也越来越广泛,技术的不断升级也正在提升应用的体验。本专场将聚焦在音频、视频、图像等技术的最新探索与应用实践

本专题下的议题

在线音视频编辑系统架构设计
刘歧 北京区块云科技有限公司
所属专题:音视频

课程概要

案例背景介绍:
将技术从工具化没有商用价值,到全功能后模板化,定制化有商用价值的转变,期间做了很多的市场相关的思考和调整。

解决思路/成功要点:
基础架构完善,全功能支持,功能裁剪,音视频内容分析,自动化完善,客户需求化裁剪与定制

成果:
调整过程中出现各种技术难题,逐一解决,然后成功签下多个客户

听众收益

音视频流媒体基础架构设计,音视频流媒体技术转商业的参考,音视频流媒体方向的参考

WebRTC+AI在教育场景中应用的探索
李超 沪江教育 音视频直播架构师
所属专题:音视频

课程概要

案例背景介绍:
随着5G的落地、WebRTC越来越成熟,相信未来会被更加广泛的应用,阿尔法狗战胜人类推动了AI技术的发展,两者是否可以结合应用于教育场影或更广泛的场景中呢?

成果:
WebRTC+AI结合已经可以落地了

听众收益

1.了解WebRTC的使用
2. 音视频实时互动
3. 识别人脸表情

FFmpeg的硬件优化
赵军 腾讯 CSIG 专家工程师
所属专题:音视频

课程概要

案例背景介绍:
媒体应用是典型的资源密集型应用,因此优化多媒体应用程序至关重要,这也是使用视频处理专用硬件加速的初衷。作为回报,这允许整个系统更加有效地运行(以达到最佳性能)。 但是为了支持硬件加速,软件开发厂商面临着各种挑战:一个是存在潜在的系统性能风险问题;此外,软件开发商一直也因为要面对各种硬件架构的复杂性而苦苦挣扎,并需要维护不同的代码路径来支持不同的架构和不同的方案。优化这类代码,耗时费力。 FFmpeg 最近开始尝试各种硬件优化方案,从最初的基于CPU的SIMD,到基于特定GPU的特定硬件编解码器,以及OpenCL/Vulkan等等,众多方案,各有优劣,我们分析一下其现状与可能的将来。

解决思路/成功要点:
1. 性能Profiling, 这是前提
2. 熟悉底层硬件,充分使用硬件的优化能力
3. 选择合适的硬件加速接口和方案

成果:
随着视频图像数据的爆发式增长,对视频图像处理的性能要求越来越高,在大部分的的平台上,有各种硬件用于执行Video/Image相关的任务,这些硬件被用于解码,编码,转码,图像后处理,视频分析等任务;但也同我们所知道的大部分的事情一样,各种方案都是利弊共存,如何选择以及考量这些加速方案,就显得非常的重要。

听众收益

1. 熟悉常用的硬件加速方案
2. 理解FFmpeg社区在硬件加速方案上的努力
3. 能根据自身的需求,选择合适的硬件加速方案

实时音视频通信中的Qos控制
张弦 好视通 首席架构师
所属专题:音视频

课程概要

案例背景介绍:
随着互联网技术的不断发展,音视频通信作为更自然的通信方式,将逐渐取代之前的文字、纯语音成为新的主流。好视通是网络视频会议的知名品牌,在行业耕耘了十几载,对音视频领域有一定的技术积累,因此我们想把沉淀的服务和能力开放出来,提供给第三方开发者,帮助他们快速的构建具有音视频通信能力的应用和产品。与传统的互联网产品和技术不同,我们在构筑实时音视频通信平台的过程中面临着一些独有的技术挑战,主要表现在,为了保障音视频通信的实时、清晰和流畅,除了要求系统具备高可用、能够应对高并发压力之外,还要能够应对恶劣的互联网环境比如时延、丢包、抖动及其动态变化,也要考虑不同用户的网络带宽差异等, 即系统需要具有较强的QoS保障能力。我们这次演讲主要围绕如何保障实时音视频通信QoS这一主题,讲述我们应对这些技术挑战所做的架构决策和技术实践。

解决思路/成功要点:
为了对抗丢包,采用了带宽预估、冗余编码、前向纠错、丢包重传、分层编码、交织编码、丢包重建等技术,并根据网络实时情况决策最优策略。 为了缩短时延,采用了基于流式分发+质量感知动态调整的RTN网络。 为了避免拥塞,采用了H265压缩技术、基于人眼视觉的分辨率动态调整技术来尽量解决带宽。

成果:
构建一个稳定、高效的高质量实时音视频通信云平台,从底层技术到上层架构会遇到非常多的挑战,这次演讲所涉及的只是冰山一角。 好视通云通信平台能够做到端到端200ms延时,音频通信能够抵抗最多70%的丢包,视频通信能够抵抗最多40%的丢包,且能够智能适应网络带宽和质量变化,保障音视频通信实时、清晰和流畅。

听众收益

1.了解实时音视频系统面临的技术挑战。
2.了解实时音视频系统保障QoS所涉及的技术。
3.了解实时音视频系统技术实践中可能会遇到的各种坑。

OnVideo 视频云创作平台联合创始人,技术负责人,FFmpeg 社区活跃开发者, 腾讯云 TVP,擅长音视频流媒体技术,分布式流媒体系统设计,流媒体CDN系统开发,个人技术兴趣领域广泛,包括音视频技术,操作系统,分布式系统,通信技术,嵌入式技术等。

专题:音视频

近年来,直播、短视频行业的相关业务发展迅猛,多媒体技术的应用场景也越来越广泛,技术的不断升级也正在提升应用的体验。本专场将聚焦在音频、视频、图像等技术的最新探索与应用实践

其他相关专题

CopyRight © 2008-2019 Msup & 高可用架构