“星启Talk” 第2期：扩散概率模型的理论及应用 | 活动预告
来源：上海人工智能实验室｜ 2022-12-14
12月14日，“上海人工智能实验室学术论坛”将举办第2期“星启Talk”。本期邀请到清华大学在读博士生鲍凡、路橙，带来主题报告《扩散概率模型的理论及应用》。“星启Talk”不定期邀请全球杰出青年学者，分享在人工智能相关领域的代表性工作。
【“星启Talk”第2期】
活动详情
主题：扩散概率模型的理论及应用
嘉宾：鲍凡、路橙 清华大学在读博士生
主持人：戴勃 上海人工智能实验室青年科学家
时间：北京时间 12月14日20:00-21:00
参与方式：腾讯会议 696673195
讲座简介
本次讲座，两位嘉宾将分别介绍清华大学教授朱军课题组关于扩散概率模型的两个代表性进展：
首先，鲍凡将围绕《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》展开介绍。该工作给出了扩散概率模型逆向过程最优均值和最优方差的解析解，该解析解表明最优均值和最优方差均由得分函数决定。因此，一个预训练好的得分模型便可同时估计最优均值和最优方差。此外，根据该解析解的形式，团队能界定出最优方差的上下界，并且在数值上表明该上下界是紧的。在实际中，通过估计最优的方差能提升模型在密度估计上的性能，并显著提升模型的采样速度。
接下来，路橙将围绕《DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps》展开讲解。该工作从数学上推导出了扩散常微分方程模型（diffusion ODEs）的极其简洁解的形式，并基于该形式设计了误差尽可能最小的高阶常微分方程求解器，称为DPM-Solver。DPM-Solver无需任何额外训练，并同时适用于连续时间情形与离散时间情形的扩散模型。实验结果表明，DPM-Solver可在20步左右达到几乎收敛的采样，甚至在10步左右也可以生成较高质量的图片，在不同分辨率的数据集中都取得了显著优于已有算法的加速效果。
本期嘉宾
鲍凡 清华大学在读博士生
在扩散概率模型上取得突出成果，以一作身份发表的论文《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》获得世界级学术奖项ICLR 2022杰出论文奖，是该会议首篇且唯一一篇由中国大陆单位独立完成的获奖论文。该项目产生了广泛的影响力，作为核心技术被应用于OpenAI发布的超大规模跨模态生成模型DALL·E 2上。他积极探索扩散概率模型的应用场景，在扩散模型的加速、可控生成、基本架构方面产出近十篇论文，为理论研究及实践应用做出出色贡献。
路橙 清华大学在读博士生
致力于研究扩散概率模型的底层原理与算法，以一作身份发表的论文《DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps》获得Neurips 2022 Oral（接受率约1.7%），是目前扩散模型无需额外训练的最快的采样算法，项目在各大开源社区产生广泛影响，已在Github获得超500星标，并被扩散模型主流库Diffusers支持。该算法在Stable-Diffusion上仅仅使用20-25步就可生成极高质量的图片，是目前Stable-Diffusion在HuggingFace Spaces的官方示例的默认采样算法，在DreamStudio、StableBoost、Stable-Diffusion-WebUI等各大text-to-image项目中为公认的加速效果最好的算法。他积极探索扩散概率模型的底层原理，在扩散常微分方程模型的最大似然训练算法、高阶去噪得分匹配算法等方面做出重要理论贡献。
主持人
戴勃 上海人工智能实验室青年科学家
上海人工智能实验室学术论坛
“上海人工智能实验室学术论坛”为此前“青年学术论坛”的全新升级版论坛。新版论坛分设“星河Talk”与“星启Talk”两个主题系列活动，将分别邀请全球顶尖教授和杰出青年学者作为嘉宾，线上线下分享学术成果、探讨科技前沿。更多精彩内容，敬请期待。
