科研动态
新闻动态UniFormer：无缝集成 Transformer，更高效的时空表征学习框架 | 论文解读
对图像和视频上的表征学习而言，有两大痛点：局部冗余——视觉数据在局部空间、时间、时空邻域具有相似性，这种局部性质容易引入大量低效的计算；全局依赖——要实现准确的识别，需要动态地将不同区域中的目标关联，建模长时依赖。而现在的两大主流模型 CNN 和 ViT，往往只能解决部分问题。CNN 通过卷积有效降低了局部冗余，但受限的感受野难以建模全局依赖；而 ViT 凭借自注意力可捕获长距离依赖，但在浅层编码局部特征十分低效，导致过高冗余。
为能同时解决上述两大痛点，上海人工智能实验室联合商汤科技共同提出一种新的 UniFormer（Unified Transformer）框架， 它能够将卷积与自注意力的优点通过 Transformer 进行无缝集成。与经典的 Transformer 模块不同，UniFormer 模块的相关性聚合在浅层与深层分别配备了局部全局token，能够同时解决冗余与依赖问题，实现了高效的特征学习。包括 ICLR2022 接受的 video backbone，以及为下游密集预测任务设计的拓展版本，UniFormer 整套框架在各种任务上都能表现出比现有 SOTA 模型更好的性能。
技术愿景：开放可控可信AGI
实现通专融合、虚实贯通、自主可信的通用人工智能
通专融合是通往AGI的战略路径
未来，AGI将落地在一个高价值区域，这个区域离原点最近的点，被称之为通专融合引爆点；从当前技术出发，能最快地接近通专融合引爆点的路线，即为通专融合技术路线。
通专融合要求模型不仅同时具备专业性和通用泛化性，还必须解决任务可持续性的问题。
通专融合技术体系包含三个相互依赖的层次：构建通用泛化基础能力和高密度监督专业能力的基础模型层；通过多路线协同构建比肩人类专家能力的融合协同层；通过自主探索与反馈修正实现AI自我进化闭环的探索进化层。
走向AGI的必由之路：世界模型+交互学习
具身自主探索是实现通专融合的有效手段，也是理解物理世界的AGI的必经之路。但具身智能绝不仅仅是大模型加机器人的应用，而是可自主演进的具身大模型。
在与物理世界的互动探索中，一方面通过Real to Sim深入物理世界，另一方面则Sim to Real，在虚拟世界中通过模拟进一步提升效率，让具身大模型“行知一体，虚实贯通”。
探索AI-45° Law技术体系，
实现兼顾安全与性能的可信AGI。
从长期的角度看，AI的安全与性能大体上沿着45°角的方向发展，“平衡”是指短期可以有波动，但不能长期低于45°（如同现在），也不能长期高于45°（这将阻碍发展与产业应用）。这个技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。实现AI-45°平衡律也许有多种技术路径，实验室正探索一条以因果为核心的路径——通过泛对齐、可干预、能反思三个递进阶段，探索可信AGI的“因果之梯”将可信AGI的发展分为。
科学研究
书生·浦语2.5
作为书生·浦语系列大语言模型的最新版本，书生·浦语2.5（InternLM2.5）具备一百万词元（Token）的的超长文本窗口及开源模型中领先的推理能力，并支持自主规划和在线信息整合，成为助力复杂问题高效解决的得力AI助手。
书生·万象
支持图像、视频、文字、语音、三维点云等模态处理的开源多模态大模型，具备强大的真实世界感知能力，首创的渐进式对齐训练策略，实现了成本更低、性能更高。
书生·风乌
全球首个人工智能驱动的全尺度、全要素的气象海洋预报大模型体系，包含短临、中期、多年-年际尺度等预报模型，覆盖海陆空多种核心要素。
浦源·桃源
首个城市级具身智能仿真平台浦源·桃源作为大模型与机器人的连接层，涵盖89种功能性场景、10万级别高质量可交互数据，构建起“软硬虚实”一体的机器人训练场。
加入我们
星启计划 | 上海人工智能实验室2025届校园招聘启动
上海人工智能实验室正式启动新一届星启青年人才引育计划，面向全球招募有志于从事人工智能、大模型、具身智能、可信安全AI、群体智能、AI for Science等领域研究的青年人才。
MinerU 新版本发布，API内测开放申请，诚邀开发者共建
“浦源计划”由上海人工智能实验室（上海AI实验室）于2024 WAIC科学前沿主论坛上正式发布，实验室将协同产学研各界力量开展合作，围绕人工智能应用垂直领域重点布局，融合各自优势，形成合力，共同支撑人工智能产业创新发展。
${ v.title }
${ v.job_department && v.job_department.name && v.job_department.name.zh_cn ? v.job_department.name.zh_cn : '' } | ${ v.updatedAtShow }
