共建AI基础软硬件生态，OpenMMLab浦视支持昇腾AI处理器

继去年9月与昇腾AI签署协议正式合作，上海人工智能实验室近期完成了OpenMMLab浦视视觉开源算法库在昇腾AI处理器的训练与部署，逐步实现对昇腾的全面支持。

目前，用户可在昇腾910 AI处理器进行OpenMMLab算法库模型训练，并将其部署在昇腾310 AI处理器上进行推理。双方的合作将赋能开发者基于OpenMMLab和昇腾软硬件平台进行人工智能应用的高效开发、部署，促进更多业务场景的技术创新和生态共赢。

OpenMMLab浦视视觉算法开源体系是深度学习时代计算机视觉领域最全面、最具影响力的开源算法体系。旨在为学术和产业界提供可跨方向、结构精良、跨站性强、易复现的统一算法工具库。目前，OpenMMLab已经累计开源了超过30个算法库，涵盖分类、检测、分割、视频理解等众多算法领域，拥有超过300种算法实现、2400多个预训练模型。在GitHub上获得超过7.2万个标星，同时吸引了超过1500名社区开发者参与项目贡献，用户遍及110个国家和地区，覆盖全国全球顶尖高校、研究机构和企业。

OpenMMLab浦视视觉算法开源体系

昇腾CANN是专门面向AI场景的异构计算架构，同时作为昇腾AI基础软硬件平台的核心组成部分之一，搭起了从上层深度学习框架到底层AI硬件的桥梁，全面支持昇思MindSpore、飞桨（PaddlePaddle）、PyTorch、TensorFlow、Caffe、计图（Jittor）等主流AI框架，提供900多种优选模型，能够覆盖众多典型场景应用，兼容多种底层硬件设备，提供强大异构计算能力。

昇腾全栈AI软硬件平台

“随着OpenMMLab对昇腾逐步实现全面适配，双方将覆盖更多典型场景应用，兼容更多的底层硬件设备并提供更强大的异构计算能力。“上海人工智能实验室教授林达华表示，“实验室目前已发布‘浦源’人工智能开源开放体系，推动人工智能对产学研各领域全面赋能，为构建人工智能开放生态，推动人工智能科研与技术突破、交叉创新和产业落地提供全方位的算法与平台支撑。”

【训练成果】

目前，OpenMMLab已在昇腾AI处理器上实现了基础库（MMEngine、MMCV）及算法库（图像分类MMClassification、目标检测MMDetection）的适配，并支持基于昇腾AI处理器的训练加速。

OpenMMLab算法库的架构共包含五个层级：训练处理器、深度学习框架、基础库、视觉算法库及部署框架。在深度学习框架层，由昇腾团队对PyTorch进行适配；在基础库层，由双方合作添加OpenMMLab算法库对昇腾设备的训练支持。

OpenMMLab算法库架构

截至目前，针对昇腾910 AI处理器，视觉基础库MMCV、分类算法库 MMClassification、目标检测算法库MMDetection已分别实现16个算子、10个模型和9个模型的支持。

【部署成果】

MMDeploy作为OpenMMLab的推理部署工具，可将OpenMMLab算法部署到多种软硬件平台上。具备灵活框架适配度的昇腾异构计算架构CANN与 MMDeploy相结合，不但扩充了OpenMMLab算法推理后端，帮助开发者快速构建AI应用和业务，还能充分发挥昇腾AI硬件算力，加速推理业务的执行。

MMDeploy架构图

Model Converter作为MMDeploy的模型转换模块，通过onnx2cann将前端模型转换为昇腾AI硬件支持的模型格式，然后送入MMDeploy的Inference SDK模块，调用CANN的AscendCL应用开发接口完成推理任务在昇腾AI硬件上的执行。

基于MMDeploy和CANN的推理部署框架

通过MMDeploy和CANN的对接适配，目前已验证包含OpenMMLab 4个算法库在内的18个流行的视觉算法可直接在昇腾AI处理器上运行。

未来，随着OpenMMLab和昇腾合作的不断深入，双方将支持更多算法库的训练和推理，并持续优化性能。同时，也欢迎开发者在OpenMMLab和昇腾的开源社区交流探索，以更完善的模型满足度、更高效的推理部署方式，赋能更多人工智能场景，共同推进计算产业发展与生态构建。