《自然》子刊发表实验室最新成果：AI驱动细胞显微CT系统，助推细胞级癌症早期诊疗

近日，上海人工智能实验室（上海AI实验室）与德国德累斯顿工业大学联合团队合作推出世界首台基于光纤光学操控的显微层析成像原理样机，首次实现光纤光学操控癌细胞三维稳定旋转，完成人类白血病癌细胞全三维重建，推动细胞级癌症早期诊疗与靶向药物开发。

目前，该成果相关论文AI-driven projection tomography with multicore fibre-optic cell rotation已刊发于Nature子刊Nature Communications，算法代码同时开源。

论文标题：AI-driven projection tomography with multicore fibre-optic cell rotation

论文链接：https://www.nature.com/articles/s41467-023-44280-1

开源链接：https://github.com/Jiawei-sn/AI_driven_tomo_master

1、传统光学方法导致图像采集局限

光学层析成像技术（即细胞显微CT）是一种新兴的无标记显微技术，能够对细胞内部纳米级的结构进行准确三维成像。基于此项技术的精密成像仪器为疾病机理研究提供了硬件支持，并可以在单细胞水平上评估靶向药物的治疗效果。

然而，基于传统光学层析成像技术获得细胞结构不同角度的成像，依赖扫描照明角度的变化，但显微镜物镜的有限数值孔径限制了扫描角度的范围，导致扫描成像轴向分辨率远低于横向分辨率，为下一步的科学研究带来局限。

2、神经网络精准调控激光场，无损控制细胞旋转

针对上述问题，联合团队提出了基于多芯光纤全息光镊（MCF-OCR）的光学层析成像系统，与传统旋转照明光的方式不同，该系统使用神经网络精准调控光纤束的输出激光场，在只有头发丝粗细的光纤输出端实现纳米级的激光控制精度，从而实现用动态激光场以无接触、无损的方式控制癌细胞旋转，同时用显微成像系统拍摄细胞在不同旋转角度进行图像采集，为层析重建提供必要的图像数据。

基于多芯光纤全息光镊（MCF-OCR）的光学层析成像系统

3、智能层析重建工作流，高精度重建细胞三维结构

为了在基于细胞旋转的光学层析成像系统中实现高效且精确的三维结构重建，联合团队将计算机视觉与显微成像系统有机融合，提出了智能层析重建工作流，由目标检测卷积神经网络（CNN）对投影实时预处理，同时采用深度学习实现精确细胞分割，对细胞的位置进行精确校准。

此外，在二维投影中精确检测细胞的三维旋转角度，一直是细胞显微层析重建中的难题，联合团队巧妙运用哈里斯角点检测器提取投影中的特征，与Lucas-Kanade光流法结合，实现细胞的精确旋转角度的自动检测。得益于精准的旋转角度检测与一系列智能预处理流程，大幅提升了工作效率与精度，实现了三维各向同性分辨率的细胞CT重建。

智能细胞显微层析重建算法

如下图所示，联合团队成功在实验中运用光纤光镊实现精准无接触的癌细胞三维旋转，并运用智能层析重建工作流实现了人类白血病癌细胞的高质量的全三维重建，实现了三维各向同性分辨率。与传统方法相比，此智能系统在大幅提升工作效率的同时，提供更高质量的三维重建，解决了光学层析成像中轴向分辨率低的瓶颈问题。

HL60人类白血病癌细胞三维重建

该项成果中的智能光学层析成像系统为深入了解亚细胞结构与功能提供了新的方法，智能细胞显微层析重建工作流适用于各种基于微流控、超声操控等样品旋转的精密光学层析成像系统。同时，该项研究证明了计算机视觉技术在光学显微成像系统中具有广泛的适用性，不仅推进基于细胞旋转的断层扫描领域的发展，还为计算机视觉技术在光学精密成像仪器中的新应用提供了更多可能。

| 上海人工智能实验室智能光电中心

面向智能光电探测、智能信号分析、智能交互系统三大方面，致力于建立智能赋能光电、光电拓展智能的共生闭环，开展基础性、前瞻性、多学科交叉融合的创新研究，突破极端环境稳定探测、多传感集成与分析、主动交互智能等关键技术，构建光电感算协同的自主智能系统，发挥行业引领作用，服务于重大战略需求。