• 欢迎来到北京明景科技有限公司

联系我们: 010-82378600, 13911129392

视频摘要、视频检索和人脸识别


成千上万的监控摄像头昼夜不停地录像,制造出海量的视频文件。从如此巨大的视频文件集中发现重要事件是非常困难的,即使是一段已知有事件发生的视频录像。


如今有三种方法解决这一问题:


1.生成一个简短的视频概要,例如将单个摄像头摄制24小时的视频压缩成几分钟,同时保留活动细节,以方便用户快速浏览。明景科技已经开发出一个基于目标跟踪技术的视频摘要系统。

“视频摘要”是指从原始视频中提取感兴趣的目标的活动信息,和背景视频缝合剪辑而成的较短视频片断,可以用短小精悍,信息全面来描述它。视频摘要可以采用原始视频分辨率,也可以根据存储要求降低分辨率。


2.通过摄像头网络或视频文件集进行嫌疑目标或事件的跟踪查询。


3.人脸识别技术,进行重要场所视频监控目标筛查。





视频摘要


如今,越来越多的监控摄像头安装在我们身边。随着电脑速度的提升,磁盘容量的增大和因特网的广泛使用,这些设备每天生成了成千上万的数据。因此,从这些海量的数据中找到重要事件就变得异常困难。所以,找出一种方法去压缩视频,甚至自动地搜索整个文件集就尤为紧迫。


由于视频浏览和检索很耗时,大多数取得的视频并不会被观看和检查,视频摘要就成了一种浏览检索视频的有效工具。它将生成一个简短的视频,其中包含了原视频中所有重要的活动。视频通过同时播放多个事件,哪怕是在原视频中不同时间发生的,将整个视频被压缩成一个简短的事件摘要。这个摘要同时也是原视频文件的一个索引,可以找到每一个事件发生的真实时间。这一技术主要通过对视频重排序来摘要和检索,对监控摄像头和网络摄像机是很有益处的。


上述视频摘要技术可以用于单个摄像头拍摄的视频。对于跨摄像机网络,由于存在每一个摄像机视角的不同,光线变化,目标姿态的变化以及可能存在遮挡的情况,对于跨摄像机视频对象的跟踪,查找甚至重新确认定位,具有很大的挑战。


1.视频浓缩供快速检索:透过智能视频分析,实现将某个摄像机一天的录像压缩到1小时甚至数分钟以内,同时保留人/车辆或感兴趣目标的活动细节。在视频摘要中,对于人或车辆目标,显示目标出现的时间,并且支持用户通过点击目标,播放目标出现前后的原始视频。


2.节省存储硬盘空间,数字摄像机产生的压缩视频按100:10:1的比例存储:为了节省海量视频的存储空间,同时适度保存历史录像,对于高清摄像机产生的视频文件,按照100:10:1的大致比例进行浓缩存储,即基本时间长度范围内(如最近一个月)的视频,按原始分辨率保存原始压缩视频(100),超过基本时间长度(如一个月到3个月)的视频,只保存浓缩的摘要视频(10),超过最大时间长度(如三个月以前)的视频,可以考虑保存转码压缩的摘要视频(1)。基本时间长度和最大时间长度可以由用户指定。这是一种全新的智能转码技术,可以广泛用于3G媒体网关,给用户提供短小精炼的监控视频摘要,既节省带宽,又不会对移动终端的处理能力有过高的要求。


3.优化高清IP摄像机的动态码流设计。利用背景分析和前景提取技术,可以在摄像机侧实现分辨率和码率动态调整,对于没有前景活动的帧,可以采用比较小的分辨率,比较低的码率,从而节省传输带宽。



明景视频摘要系统






视频检索


在对视频摘要进行快速浏览以后,用户就可以找到一些有用的线索。如果在视频中发现了一些感兴趣的东西,我们还可以在更多的视频文件中搜索和检查。


因此,我们需要一个视频检索的系统去做这项工作。首先,它会使用一种有效的运动分割方法提取出运动的物体。而后,这些运动物体的基本特征就会被提取出来,并且编入数据库。在整个的检索过程中,系统会将请求比对数据库中已经索引好的特征,而不用重新处理视频。最后,拥有足够高相关度的视频片断将被作为结果显示出来。大致可分为以下两个部分:

1、一个通过快速运动目标分割所实现的实时自动检索方法,这样系统就可以实时对视频源进行排序;

2、一个基于目标的检索系统,包含基础特征比对的方法。这样就可以使得用户通过提供一幅样照或素描图指定请求。


通过这种技术,以下的请求模式就可以实现:

1、事例查询

具体来说,是一些分割出来的图片(例如,视频中的一个人/一辆车)。


2、基本属性查询

对于一个人,我们可以查询身高,衣服的颜色(如果够解析度,甚者可以区分上下衣的颜色),头发颜色,发型,是否戴帽子或是眼镜。

对于车辆,我们可以查询大小、商标、主色、车型(例如,汽车、吉普车、出租车)。

对于运动路径,我们可以通过速度,运动方向,位置,进出时间或者行走方式来查询。



基于内容的视频检索功能使用了下列技术:

a)移动物体的特征提取,例如目标的颜色,大小,速度,位置和轨迹;

b)事件监测后产生的事件描述作为检索输入;

c)从视频摘要获得的线索作为输入;

d)人车目标分类;

e)准确的背景和前景切割,以提供清晰的边缘和背景;

f)利用用户的经验和直觉提高检索准确率;

g)提取所有有用信息存入数据库,而不是视频文件本身,这样可以节省很多空间,同时也节约人力成本。



明景视频检索系统

wang-视频搜索.jpg





人脸识别


人脸识别有两种典型的监控应用情况,固定摄像机采集的监控视频中提取人脸和移动监控设备拍摄人脸。通常来说,固定安装的摄像机可以拍摄视频,从中提取人脸,移动设备用户可以在现场通过摄像头捕获目标的相片。移动设备能储存少数目标人员的相片,移动设备比较获得的相片和储存的相片以识别重要嫌疑犯。


固定安装IP摄像机获取的截图或照片通常只有较低的质量,并且由于拍摄场景的不确定,其中的光照以及人物的姿势也是不确定的。与此相反,移动终端设备可以应用到不同的情境中,照片可以在一个可控的环境中取得。上述获取的截图或照片可回传给服务器端,与数据库中大量的相片进行比对。


照片比对的第一步是提取有效的脸部特征。选择什么样的特征作比对是关键,由于人员姿态表情的变化,拍摄环境光照条件以及帽子墨镜遮挡等的影响,选择有效的特征是一件挑战性的工作。为了解决这些难题,可以使用一个基于学习的编码方法,用以提取脸部特征,从而进行识别。这一方法使用了自主学习的方法对脸的局部微结构进行编码。这样学得的码流比现有的手工编码的方法具有更好的识别能力和稳定性。同时,压缩效果也非常好。



明景人脸识别系统