一种三维视频融合拼接方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112669205 A(43)申请公布日 2021.04.16

(21)申请号 201910976157.0(22)申请日 2019.10.15

(71)申请人 北京航天长峰科技工业集团有限公

司

地址 100854 北京市海淀区永定路50号(72)发明人 戴志强　(51)Int.Cl.

G06T 3/40(2006.01)G06T 5/50(2006.01)G06T 17/00(2006.01)H04N 13/122(2018.01)H04N 13/261(2018.01)H04N 13/275(2018.01)H04N 7/18(2006.01)

权利要求书1页 说明书2页

(54)发明名称

一种三维视频融合拼接方法

(57)摘要

本发明涉及一种三维视频融合拼接方法，包括：(1)创建一个现实影像的、精确的三维立体模型，作为三维视频融合拼接系统的基础数据；(2)在三维模型中清晰显示摄像机覆盖范围并准确界定盲区范围；(3)从多个视频管理平台中获取分镜头视频流，将零碎的分镜头视频信息在时间和空间上深度融合，在三维立体模型中以视标的形式关联调度；(4)将处在不同位置、碎片化的分镜头监控视频实时融合到三维场景中，实现对监控区域范围整体大场景的实时全局监控；(5)重点区域一旦出现紧急警情，快速锁定关注目标，并选择最佳视角的实时视频以获得重要信息。本发明能形成360度立体全景通透监控系统，满足安保监控需要。

CN 112669205 ACN 112669205 A

权　利　要　求　书

1/1页

1.一种三维视频融合拼接方法，其特征在于包括以下步骤：(1)三维立体模型建模：创建一个现实影像的、精确的三维立体模型，作为三维视频融合拼接系统的基础数据，支持多种输入，可以展示的数据包括影像数据、高程数据、矢量数据、三维模型数据，实现三维场景真实感实时渲染；

(2)视频点位规划：在三维模型中任意拖动摄像机位置和姿态，清晰显示摄像机覆盖范围并准确界定盲区范围，科学计算摄像头覆盖视角及静态数据信息可视化展示；

(3)海量视频接入与关联调度：整合管理区域内全部监控视频资源，从多个视频管理平台中获取分镜头视频流，将零碎的分镜头视频信息在时间和空间上深度融合，在三维立体模型中以视标的形式关联调度，实现视频资源的统一高效管理；

(4)重点区域三维视频融合监控：将处在不同位置、碎片化的分镜头监控视频实时融合到三维场景中，实现对监控区域范围整体大场景的实时全局监控；

(5)重点人员/车辆管控：重点区域一旦出现紧急警情，指挥人员快速锁定关注目标，并选择最佳视角的实时视频以获得重要信息，尽快做出判断和响应。

2

CN 112669205 A

说　明　书

一种三维视频融合拼接方法

1/2页

技术领域

[0001]本发明涉及视屏监控技术领域，具体涉及一种三维视频融合拼接方法，用于将监控区域的海量视频，融合拼接到三维模型中，形成360度立体全景通透监控，便于对监控区域整体态势的掌握和判断。

背景技术

[0002]布设在城市地面交通、重点区域、敏感地带等地区高度共享的视频防控信息系统，在进行日常管理、应急处突、巡控守护、侦查破案、大型安保等方面发挥了不可替代的重要作用。但近几年视频监控数量庞大且不断增加，常见监控视频是N宫格分镜头，每个视频之间是离散的、碎片化的，视频之间的时空联系需要使用者自行脑补，这样将大大影响使用者对监控区域整体态势的掌握和判断。

发明内容

[0003]本发明的目的是提供一种三维视频融合拼接方法，可以将实战视频监控与三维地图融合，以三维可视平台为基础，充分利用现有图像监控资源，并整合城市多层次安防体系信息资源，基于增强现实、深度学习、大数据可视化等技术，构建满足公共安全防范需求，具备安全态势感知的三维融合实战指挥平台。[0004]本发明的技术方案如下：

[0005]一种三维视频融合拼接方法，其特征在于包括以下步骤：[0006](1)三维立体模型建模：创建一个现实影像的、精确的三维立体模型，作为三维视频融合拼接系统的基础数据，支持多种输入，可以展示的数据包括影像数据、高程数据、矢量数据、三维模型数据，实现三维场景真实感实时渲染；[0007](2)视频点位规划：在三维模型中任意拖动摄像机位置和姿态，清晰显示摄像机覆盖范围并准确界定盲区范围，科学计算摄像头覆盖视角及静态数据信息可视化展示；[0008](3)海量视频接入与关联调度：整合管理区域内全部监控视频资源，从多个视频管理平台中获取分镜头视频流，将零碎的分镜头视频信息在时间和空间上深度融合，在三维立体模型中以视标的形式关联调度，实现视频资源的统一高效管理；[0009](4)重点区域三维视频融合监控：将处在不同位置、碎片化的分镜头监控视频实时融合到三维场景中，实现对监控区域范围整体大场景的实时全局监控；[0010](5)重点人员/车辆管控：重点区域一旦出现紧急警情，指挥人员快速锁定关注目标，并选择最佳视角的实时视频以获得重要信息，尽快做出判断和响应。[0011]本发明为提升安保智能化水平，解决海量离散视频既“看不过来”又“看不太懂”问题，本发明采用三维视频融合拼接技术，将监控区域的海量视频，融合拼接到三维模型中，形成360度立体全景通透监控，能满足安保对监控区域“看高看低、看全看细”的核心诉求，同时配合安防与应急预案沙盘部署与推演，有效提高综合指挥调度效率，及时准确统一指挥处理突发事件。

3

CN 112669205 A

说　明　书

2/2页

具体实施方式

[0012]本发明包括三维立体模型建模、视频点位规划、海量视频接入与关联调度、重点区域三维视频融合监控、重点人员/车辆管控五个模块，各模块的具体内容如下：[0013](1)三维立体模型建模：[0014]创建一个现实影像的、精确的三维立体模型，作为三维视频融合拼接系统的基础数据。支持多种输入，可以展示的数据包括影像数据、高程数据(DEM)、矢量数据、三维模型数据等，实现三维场景真实感实时渲染，实时光晕、动态阴影、体积云、海洋、雾化、全态星空等，通过LOD处理渲染展示优化。

[0015]结合监控区域地理环境特点，实现监控区域的三维场景重建。三维模型直观的表达监控区域的三维空间位置、真实结构及相关信息，利用CAD图纸以及所有可用的图像(无人机倾斜摄影图像、航拍图像、卫星图等)生成三维模型。[0016](2)视频点位规划：

[0017]在三维模型中任意拖动摄像机位置和姿态，清晰显示摄像机覆盖范围并准确界定盲区范围，科学计算摄像头覆盖视角及静态数据信息可视化展示，宏观掌控视频资源建设情况。[0018](3)海量视频接入与关联调度：

[0019]整合管理区域内全部监控视频资源，从多个视频管理平台中获取分镜头视频流，将零碎的分镜头视频信息在时间和空间上深度融合，在三维立体模型中以视标的形式关联调度，实现视频资源的统一高效管理。

[0020]三维视频融合拼接系统部署为视频监控平台的上级用户，获取完整的视频列表，接入实时/历史视频流。三维视频融合拼接系统的部署应用不影响原有视频平台的应用。[0021](4)重点区域三维视频融合监控：[0022]将处在不同位置、碎片化的分镜头监控视频实时融合到三维场景中，实现对监控区域范围整体大场景的实时全局监控。

[0023]原有的分镜头监控有如下的弊端：对每一个镜头只能从镜头所在的视点观看图像；每一个监控所拍到的图像和周围的环境是割裂的，每个摄像机和摄像机之间是割裂的，从而只有对周围环境十分熟悉的工作人员，才能知道所拍的位置。[0024]三维融合视频支持从预设的虚拟全局视点观看视频图像，各个摄像机的视频图像信息之间在空间和时间上是结合到一起的，每个摄像机所拍摄的视频图像信息是嵌入到真实的环境中的。支持在三维场景中设定预设虚拟观测视角(高于物理摄像机真实视角)，以预设虚拟视角监控关注区域大场景的实时状况。[0025](5)重点人员/车辆管控：

[0026]重点区域一旦出现紧急警情，指挥人员快速锁定关注目标，并选择最佳视角的实时视频以获得重要信息，尽快做出判断和响应。

[0027]现有指挥中心视频监控系统由于缺乏快速追踪目标轨迹的有效手段，也无法快速调取重点目标最佳视角视频，事件处置时间长、耗费人力多、指挥协调和查处效率低。[0028]本发明在城市重点区域“一张图”基础上，结合人脸识别系统、视频行人搜索系统、车牌识别系统，提供准确易用的查询与布控工具。实现重点人员/车辆管控，解决人“是谁、从哪儿来、到哪儿去”，以及车辆“从哪儿来，到哪儿去”的问题，进行目标定位及研判分析。

4