卫星图秒变 3D 城市!北大 + 高德联合突破,Orbit2Ground 重构数字都市!

3A 游戏里 1:1 复刻的纽约城、无人机低空物流的航线规划、特大城市应急响应的数字底座 —— 这些场景的核心,都是高精度 3D 城市模型。传统构建方式要么需数千美术团队耗时数年手工建模,要么依赖昂贵专业设备扫描,成本高、效率低。而北京大学与高德地图联合研发的生成式摄影测量方案 Orbit2Ground,仅凭稀疏卫星图像,就能低成本、高效率地重建出逼真 3D 城市,攻克了 “顶视图推理侧视图” 的行业终极难题。

核心痛点:卫星图重建的视角困境

卫星图像覆盖全球、获取便捷,本是 3D 城市重建的理想数据源,但长期以来受限于视角瓶颈:

  • 卫星以正上方俯拍为主,仅能清晰捕捉屋顶信息,难以获取建筑侧面的视差数据;

  • 现有先进方法(如 NeRF、3DGS)面对这种 “视角极端外推” 力不从心,重建的建筑侧立面常出现几何扭曲、纹理模糊,甚至产生云雾状伪影;

  • 即便是 SOTA 城市重建方法 CityGS-X,也只能还原良好的屋顶几何和自顶向下视角,近地视角下建筑侧立面重建失败,无法满足实际应用需求。

技术突破:两大核心创新,从 “毛坯” 到 “精装”

Orbit2Ground 的关键突破,在于将城市几何先验与生成式 AI 巧妙结合,通过两阶段流程,完美解决几何缺失与纹理模糊问题:

1. Z 轴单调 SDF:让墙壁从屋顶 “长” 出来

针对建筑侧面几何缺失的核心痛点,团队利用 “绝大多数城市建筑墙壁平整外凸” 的物理先验,提出 Z-Monotonic SDF(Z 轴单调符号距离场):

  • 核心逻辑:约束 SDF 场在 Z 轴方向上单调递增,任意竖线上的 SDF 值沿高度向上持续增长;

  • 几何约束:单调性强制生成的等值面(几何表面)连续且非凹陷,避免墙面破碎、中间断开或向内塌陷;

  • 实际效果:即便仅依赖顶部卫星数据,算法也能自动从屋顶向下 “拉伸” 出连续闭合的完整墙壁,从根本上解决 “空心楼” 问题,生成结构完整的建筑几何。

这一创新让多视角立体视觉(MVS)仅能恢复的地面和屋顶数据,得以延伸为完整的建筑立体结构,为 3D 城市搭建起坚实的 “几何骨架”。

2. 确定性纹理修复:AI 给建筑 “精装修”

解决了几何问题后,团队针对卫星图侧面纹理模糊(受大气干扰、分辨率限制)的问题,打造了专属修复方案:

  • 模型基础:基于 FLUX 模型训练专门的确定性纹理修复网络;

  • 修复逻辑:不凭空捏造纹理,而是以卫星图提供的基础色调和结构为依据,结合海量城市外观知识进行精准修复;

  • 关键优化:将扩散模型微调为 “确定性” 模式,确保不同视角下的纹理连贯统一,避免生成式 AI 常见的鬼影、模糊问题,让建筑立面纹理清晰可辨。

整体流程:两阶段解耦,高效重建

Orbit2Ground 将重建任务拆分为几何重建与外观精修两个阶段,流程清晰、逻辑严谨:

  1. 几何重建阶段:先通过稀疏 MVS 点云优化 Z-Monotonic SDF,提取出具有干净垂直立面的高保真 Mesh 几何,完成 “几何毛坯房” 搭建;

  2. 外观精修阶段:以卫星图像反向投影得到的初始纹理为起点,通过修复网络增强近距离新视角渲染效果,再将其作为监督信号,完成最终纹理优化,实现 “精装修”。

实测效果:碾压 SOTA,输出即用

在 MatrixCity、DFC 2019、Google Earth 三大数据集的测试中,Orbit2Ground 在几何完整性(P、R、F1 指标)和视觉保真度(PSNR、SSIM、LPIPS 指标)上均全面超越现有方法:

  • 几何精度:MatrixCity 数据集上 F1 值达 0.643,CD 值低至 0.036,远优于其他方法,生成的是坚实连贯的物理表面,无伪影;

  • 视觉效果:DFC 2019 数据集上 PSNR 达 13.059,Google Earth 数据集上 SSIM 达 0.253,纹理清晰、视角连贯;

  • 实用价值:输出标准 Mesh(网格)模型,可直接导入 Unity、Unreal Engine 5 等主流引擎,支持刚体碰撞添加、物理模拟(积雪堆积、洪水淹没)、光照渲染等下游操作,是 “看得清且用得上” 的城市级数字资产。

应用前景:低成本复刻数字地球

Orbit2Ground 的突破,让 3D 城市重建成本大幅降低、效率显著提升,其应用场景几乎覆盖所有需要数字城市底座的领域:

  • 游戏与影视:快速构建 1:1 还原的虚拟城市,降低 3A 游戏、科幻影视的场景制作成本;

  • 智慧城市:为无人机低空物流、城市交通调度、应急响应系统提供高精度数字底座;

  • 地理信息:高效更新地图 3D 数据,提升导航、测绘等服务的精准度与沉浸感;

  • 虚拟仿真:支持城市规划、灾害模拟等场景,为决策提供直观参考。

随着技术进一步迭代,未来或许仅需几颗卫星,就能在数字世界中复刻出整个鲜活的地球。该研究已开源相关成果,项目主页(https://pku-vcl-geometry.github.io/Orbit2Ground)和论文(https://arxiv.org/pdf/2512.07527)均已公开,为行业发展提供重要技术支撑。

这个 Z-Monotonic SDF 的思路很巧妙,用几何先验约束解决了外推难题。两阶段解耦让纹理修复更可控,输出即用对工业落地太重要了。

这个思路挺接地气的 不知道实际用起来效果咋样

这技术让建数字城市简单多了

卫星重建确实是个大难题

用卫星图就能重建城市这技术也太实用了

这个技术能用在游戏里就厉害了

这玩意儿要是早点出来,咱们做游戏场景就不用掉那么多头发了。

这个方案思路很聪明啊 用几何先验补全缺失视角确实能大幅降低成本 开源更是功德无量

哇这个技术也太厉害了吧,直接解决了卫星图重建的视角问题。低成本生成高精度城市模型,感觉很多行业都要被颠覆了。