3A 游戏里 1:1 复刻的纽约城、无人机低空物流的航线规划、特大城市应急响应的数字底座 —— 这些场景的核心,都是高精度 3D 城市模型。传统构建方式要么需数千美术团队耗时数年手工建模,要么依赖昂贵专业设备扫描,成本高、效率低。而北京大学与高德地图联合研发的生成式摄影测量方案 Orbit2Ground,仅凭稀疏卫星图像,就能低成本、高效率地重建出逼真 3D 城市,攻克了 “顶视图推理侧视图” 的行业终极难题。
核心痛点:卫星图重建的视角困境
卫星图像覆盖全球、获取便捷,本是 3D 城市重建的理想数据源,但长期以来受限于视角瓶颈:
-
卫星以正上方俯拍为主,仅能清晰捕捉屋顶信息,难以获取建筑侧面的视差数据;
-
现有先进方法(如 NeRF、3DGS)面对这种 “视角极端外推” 力不从心,重建的建筑侧立面常出现几何扭曲、纹理模糊,甚至产生云雾状伪影;
-
即便是 SOTA 城市重建方法 CityGS-X,也只能还原良好的屋顶几何和自顶向下视角,近地视角下建筑侧立面重建失败,无法满足实际应用需求。
技术突破:两大核心创新,从 “毛坯” 到 “精装”
Orbit2Ground 的关键突破,在于将城市几何先验与生成式 AI 巧妙结合,通过两阶段流程,完美解决几何缺失与纹理模糊问题:
1. Z 轴单调 SDF:让墙壁从屋顶 “长” 出来
针对建筑侧面几何缺失的核心痛点,团队利用 “绝大多数城市建筑墙壁平整外凸” 的物理先验,提出 Z-Monotonic SDF(Z 轴单调符号距离场):
-
核心逻辑:约束 SDF 场在 Z 轴方向上单调递增,任意竖线上的 SDF 值沿高度向上持续增长;
-
几何约束:单调性强制生成的等值面(几何表面)连续且非凹陷,避免墙面破碎、中间断开或向内塌陷;
-
实际效果:即便仅依赖顶部卫星数据,算法也能自动从屋顶向下 “拉伸” 出连续闭合的完整墙壁,从根本上解决 “空心楼” 问题,生成结构完整的建筑几何。
这一创新让多视角立体视觉(MVS)仅能恢复的地面和屋顶数据,得以延伸为完整的建筑立体结构,为 3D 城市搭建起坚实的 “几何骨架”。
2. 确定性纹理修复:AI 给建筑 “精装修”
解决了几何问题后,团队针对卫星图侧面纹理模糊(受大气干扰、分辨率限制)的问题,打造了专属修复方案:
-
模型基础:基于 FLUX 模型训练专门的确定性纹理修复网络;
-
修复逻辑:不凭空捏造纹理,而是以卫星图提供的基础色调和结构为依据,结合海量城市外观知识进行精准修复;
-
关键优化:将扩散模型微调为 “确定性” 模式,确保不同视角下的纹理连贯统一,避免生成式 AI 常见的鬼影、模糊问题,让建筑立面纹理清晰可辨。
整体流程:两阶段解耦,高效重建
Orbit2Ground 将重建任务拆分为几何重建与外观精修两个阶段,流程清晰、逻辑严谨:
-
几何重建阶段:先通过稀疏 MVS 点云优化 Z-Monotonic SDF,提取出具有干净垂直立面的高保真 Mesh 几何,完成 “几何毛坯房” 搭建;
-
外观精修阶段:以卫星图像反向投影得到的初始纹理为起点,通过修复网络增强近距离新视角渲染效果,再将其作为监督信号,完成最终纹理优化,实现 “精装修”。
实测效果:碾压 SOTA,输出即用
在 MatrixCity、DFC 2019、Google Earth 三大数据集的测试中,Orbit2Ground 在几何完整性(P、R、F1 指标)和视觉保真度(PSNR、SSIM、LPIPS 指标)上均全面超越现有方法:
-
几何精度:MatrixCity 数据集上 F1 值达 0.643,CD 值低至 0.036,远优于其他方法,生成的是坚实连贯的物理表面,无伪影;
-
视觉效果:DFC 2019 数据集上 PSNR 达 13.059,Google Earth 数据集上 SSIM 达 0.253,纹理清晰、视角连贯;
-
实用价值:输出标准 Mesh(网格)模型,可直接导入 Unity、Unreal Engine 5 等主流引擎,支持刚体碰撞添加、物理模拟(积雪堆积、洪水淹没)、光照渲染等下游操作,是 “看得清且用得上” 的城市级数字资产。
应用前景:低成本复刻数字地球
Orbit2Ground 的突破,让 3D 城市重建成本大幅降低、效率显著提升,其应用场景几乎覆盖所有需要数字城市底座的领域:
-
游戏与影视:快速构建 1:1 还原的虚拟城市,降低 3A 游戏、科幻影视的场景制作成本;
-
智慧城市:为无人机低空物流、城市交通调度、应急响应系统提供高精度数字底座;
-
地理信息:高效更新地图 3D 数据,提升导航、测绘等服务的精准度与沉浸感;
-
虚拟仿真:支持城市规划、灾害模拟等场景,为决策提供直观参考。
随着技术进一步迭代,未来或许仅需几颗卫星,就能在数字世界中复刻出整个鲜活的地球。该研究已开源相关成果,项目主页(https://pku-vcl-geometry.github.io/Orbit2Ground)和论文(https://arxiv.org/pdf/2512.07527)均已公开,为行业发展提供重要技术支撑。



