课程 ID: 17534
描述:
案例背景:
日志服务是字节跳动自研、自用和在火山引擎上对用户开放的可观测日志数据存储、分析平台。提供日志的采集、存储、加工、查询分析和告警能力。日志服务现在每天处理数十 PB 量级的日志数据，海量日志数据的采集、存储和查询分析对系统的稳定性和性能提出了较大的挑战。同时日志作为用户的关键数据资产越来越被重视，用户对日志的结构化加工处理，实时分析和可视化报表展示的需求越来越多，对日志数据处理能力、查询分析能力、实时可见能力的要求越来越
解决思路:
本次分享主要介绍火山引擎日志服务面对稳定性、性能、成本、实时性等挑战的优化实践。
- 日志采集性能优化实践。
- 火山引擎云原生日志系统的架构演进。
- 海量日志系统的稳定性和性能优化实践。
- 日志智能化的实践。
成果：
- 日志采集器极致的性能表现，和老版本的性能对比。
- 日志系统架构演进后的优势。
- 每天数十PB的日志采集、存储和查询，写入到查询秒级可见。
- 基于日志智能化的故障根因快速定位。