课程 ID: 15187
描述:
案例背景:
随着公司发展，业务场景不断变多、数据量不断增长，公司在数据应用面临着计算压力、新老业务系统兼容、定制性需求增多变快、计算资源整合等问题，因此公司急需一套简单易用的大数据平台来解决上述问题。
解决思路:
通过不断演进大数据平台，集数据采集、数据计算分析、数据质量管理、可视化为一体。通过数据质量管理平台，对埋点进行管理、监控、云控、调试等，保证数据质量和开发效率。同时数据平台在计算方面整合各类离线和实时计算引擎，提供了智能化调度，在数据方面提供元数据信息、血缘关系、使用信息，操作上也实现了sql和简单、工程化方式并存，并且进行拖拽即可实现可视化报表需求。当然，在计算效率与成本方面我们也踩一些坑，最后通过计算引擎优化、数据管理，也实现了比较好的收益。
成果：
目前美图大数据平台解决多场景数据应用需求，加快了需求的迭代速度，绝大部分场景都可以通过简单的界面操作或者sql解决，同时支持用户以工程方式接入。