课程 ID: 19187
描述:
话题概述:
随着「人工智能+」行动从行业共识上升为国发〔2025〕11号明确的国家级推进举措，大模型在政府、国资央企、金融等关键行业的规模化落地已势不可挡。中国信通院、华为联合2026年2月发布的《行业数智化AI安全实践研究报告》明确当前的矛盾：安全评估指标定性多、定量少，目前普遍面临：监管要求明确，但多数单位不知如何测评模型安全性、如何备案大模型、如何建立人工智能安全体系的困境。
演讲题纲:
话题亮点：
一、评测和备案的必要性
1.评测和备案的关系
2.什么样的模型要备案？
3.备案需要什么材料？
4.备案的流程是什么？
二、评测的难点
1.传统风险评估框架面对大模型「无限变体、点对点漏洞失效」的新型攻击面基本失效；
2.算法备案、模型上线备案、产品登记三条路径要求分散且各地标准不一；
3.被测方自评材料良莠不齐，其自身的评测工具链几乎空白。
三、基于自身IT架构建立全链路评测方法
1.IT架构图
2.针对IT架构图，构建六层评测框架：
Layer 1 输入层：Prompt注入、角色逃逸、间接攻击 （现有政策明确要求）
Layer 2 模型层：越狱、幻觉率、数据投毒、供应链后门 （现有政策明确要求）
Layer 3 输出层：有害内容、敏感信息泄露、深度伪造 （现有政策明确要求）
Layer 4 系统层：API滥用、DDoS、多租户隔离 （后续评估可能扩展）
Layer 5 应用层：RAG知识库注入、Agent越权、MCP工具滥用、工作流劫持 （后续评估可能扩展）
Layer 6 基础环境层：容器逃逸、镜像投毒、算力劫持、框架及组件漏洞 （后续评估可能扩展）
重点解决：如何将攻击发现转化为可量化评分体系，并对接《生成式人工智能服务管理暂行办法》《生成式人工智能服务安全基本要求（TC260-003）》《政务大模型应用安全规范》等现行标准。
四、摸索评测体系的构建路径
全链路评测不是一个平台能解决的事，需要三位一体：
平台自动化（Layer 1-4）：多级单位AI资产自动发现、持续性自动化测试用例生成与执行、合规报告标准化输出
人工介入（Layer 5-6）：应用逻辑验证、基础环境渗透、相关配置审计
五、评测和备案只是开始
AI安全体系图讲解