课程 ID: 17491
描述:
案例背景:
B站在大语言模型时代进行了自己的思考和布局，本次分享围绕B站在大模型技术路线与架构方向的一些规划和实践展开。具体包括大模型开源技术方案与自研优化的对比和选型，如何提高大模型训练与推理的吞吐，以及在B站基于LLM的AI搜索问答业务落地实践上我们遇到的挑战与应对。
解决思路:
我们基于开源技术包括deepspeed，megatron，flash-attention等设计实现了B站自研大语言框架javis，对开源优化技术进行抽象，易于集成，易于迭代。结合自研优化手段，在LLM继续训练效率上达到了理想效果。同时依托B站搜索场景搭建了一套检索问答框架，帮助B站落地基于LLM的AI搜索问题和视频摘要功能。此外，在研发提效上，也基于RAG在帮助平台团队值班oncall提效上有成功落地。
成果：
依靠稳定高效的大模型训推平台，以及灵活的RAG应用工程，支撑了B站自研大模型的迭代演进，同时多个场景上完成业务落地。