OpenTenNet框架：软硬件协同，突破量子计算能效壁垒

近期，上海人工智能实验室（上海AI实验室）联合中国科学技术大学、中国科学院等共同发布量子模拟并行框架OpenTenNet，以软硬件协同突破“量子霸权”能效壁垒，为人工智能算力基础提供新的算法支撑。

融合OpenTenNet及新兴算力集群系统优化，研究团队联合沐曦，首次在新兴算力硬件上构建了量子计算模拟器，实现扩展性、计算效率、绿色能耗等方面的性能提升，在传统硬件模式下，进一步降低了“量子计算”的应用门槛。

相关成果论文已发表于2024全球超级计算大会（SC24），未来，实验室将持续依托原创算法与新兴算力，加速构建AI软硬件适配桥梁，与各方携手，推进AI算法与算力应用创新。

论文链接：https://ieeexplore.ieee.org/abstract/document/10793197

开源链接：https://github.com/DeepLink-org/OpenTenNet

“量子”与“经典”竞争，催生创新动力

量子计算是基于量子力学原理发展形成的信息处理的概念和技术体系，被认为有机会实现指数级别的计算效率加速，同时因其不受经典计算机晶体管极限的限制，受到研究界广泛关注。由于复杂且高度纠缠的量子系统难以使用经典计算机高效模拟，物理学家费曼进而提出利用可控的量子计算机研究量子系统，并实现量子计算的高效应用。此前，量子芯片Sycamore曾于特定任务上超越了经典计算机的能力，宣告“量子霸权”实现。随着量子计算在NISQ（含噪声中等规模量子）不断展现出来的潜力，各类经典计算机上的量子电路模拟器应运而生，以传统硬件弥合“量子霸权”成为研究界的关注重点。但与此同时，经典计算机模拟量子电路存在以下挑战：

• 组成量子系统的量子比特数量多（对应空间复杂度）；

• 量子系统的纵向深（对应时间复杂度）；

• 量子电路规模的扩大，所需的信息量呈指数级增长。

OpenTenNet框架高效实现量子模拟器

此前业界利用超算集群，取得了一定的量子模拟研究进展，但超大规模张量网络缩并产生的通信开销和能耗负担，依然是经典计算冲击“量子霸权”的阻碍。

针对量子模拟中的大规模张量网络缩并，上海AI实验室联合团队结合中科大最新提出的量子模拟算法推出OpenTenNet框架，解决内存受限条件下的计算效率和开销问题。利用三级并行架构、定制化低精度通信、重计算等技术，缓解节点间的通信瓶颈，首次在新型算力硬件上构建出高性能低功耗量子线路模拟器。

通过OpenTenNet算法，研究团队将量子模拟任务转化为大规模张量网络的缩并问题，在内存受限的条件下使用“模拟退火”搜索出一条计算复杂度近似最优的缩并路径，并使用后选择处理算法以提高交叉熵基准测试XEB值，相同XEB值下计算量更低。

对标量子芯片Sycamore实现“量子霸权”的任务，联合团队在不同张量网络规模下进行了多组对照实验。结合算法和系统级优化，基于OpenTenNet的量子模拟器在可扩展性、速度、功耗等方面实现了性能提升。如下图所示，随着GPU数量的增加，总任务所需的时间呈线性下降，能耗同时保持在稳定水平，表现出良好的并行性和高度可扩展性。

OpenTenNet扩展性分析

软硬件协同，突破“量子霸权”

基于OpenTenNet算法，研究团队联合沐曦，在MX C500芯片上对量子模型进行一系列适配与优化：根据访存特征优化的高维Tensor操作算子，充分利用GPU Matrix Core实现的高性能GEMM计算数学库，高带宽低延时的通讯库实现卡间数据传输。

测试结果如下图，其中矩形代表量子芯片Sycamore，三角形代表已有的经典模拟算法，圆形代表上海AI实验室联合团队构建的量子模拟计算器。以Sycamore产生三百万个不相关的采样实验作为对照，可见最新的量子模拟计算方法对比Sycamore已取得能耗及效率优势（粉红色区域）。经典算力凭借软硬件协同，已成功超越Sycamore“量子霸权”。

上海AI实验室持续布局新一代AI训练与计算系统构建，打造具有广泛包容性的AI计算与编译体系，创新训练系统编程范式，探索模型训练的能效极限，应对通用智能与超大规模科学计算融合的需求。由实验室构建的DeepLink人工智能开放计算体系，搭建算力硬件与深度学习软件框架适配的桥梁，从软、硬件两方面共同助力人工智能技术突破。