领域的大数据应用,主要体现在两方面:视频录像的集群和视频结构化数据的查询及信息挖掘。
1.视频录像的集群存储
在面向大数据的架构中,可根据实际现场的部署需要,设立一个或多个集群组成,采集的流数据会被划分成段,并分布于数据集群节点,因为集群节点有内部进行多副本备份等机制,可以由软件技术来保证整体系统的高可靠性和高稳定性。这些数据节点可以采用廉价通用型的硬件,避免采用传统高端硬件的模式,能极大地降低投资成本。
录像文件的集群存储,国内云储存厂家多采用CEPH技术和HDFS技术的方式。以HDFS的方式举例,思路为:通过HADOOP提供的API结构,实现将接收到的视频流文件从本地上传到HDFS中。在这一过程中,把接收到的视频文件不断地存储到一个指定的本地临时文件夹中,而这个本地文件夹是在不断动态变换的,可以将该文件夹当成是一个“缓冲区”,把“缓冲区”中的文件以流的方式将上传到HDFS中。
2.视频结构化数据的查询及信息挖掘
原始的视频图像是一种非结构化数据,它不能直接被计算机和上层应用软件读取和识别,为了让视频图像更好的应用,就必须对视频图像进行结构化的处理,提取出关键信息,并进行文本的语义描述,也就是视频结构化。
一段视频里面,需要提取的关键信息主要有两类:第一类是运动目标的识别,也就是画面中运动对象的识别,是人还是机动车或者非机动车;第二类是运动目标特征的识别,也就是画面中运动的人、车、物有什么特征,行人特征主要有:是否带眼镜、围巾、上衣、裤子、是否带口罩、是否背包,性别分类等;机动车主要特征有:车牌号码、车身颜色、车型等;物体特征主要有:大小尺寸、颜色、方向等。
一个案件的审看需要更为广泛地查看相关的摄像机视频,所审看的视频量时常达到数百上千小时。视频结构化提取技术对视频中运动的物体等进行提取,再通过软件进行检索和排除,这就能极大地提高办案效率。