大数据技术,助力安防视频监控迈入“智能时代”
2015-09-25   来源：智慧城市    点击：1266

                                1.“大数据”与视频监控的完美结合

传统的数据存储和分析技术如数据库、数据仓库和商业智能，处理的数据量都很有限，无法实现对TB甚至PB级以上数据量的支撑；对于非结构化数据，更是力不从心，很难满足分析和处理的需求。“大数据”技术的出现，填补了对海量非结构化数据处理方面的空白，极大的扩展了人类搜集、分析和挖掘信息的能力。

视频监控行业是以视频文件的形式对采集的监控视频进行存储，这种大容量的非结构化文件除了提供事后的回放功能外，基本很难用传统的技术进行处理。视频文件的格式决定了文件占用的存储大小远远超过常规文件。以当前常用的单个1080P网络摄像机（IPC）为例，30天内产生的视频文件大小就超过2TB。因此视频监控行业产生的数据具有典型的“海量”和“非结构化”的特征。

“大数据”技术所解决的问题与视频监控行业数据特征的完美契合，为大数据在视频监控行业的发展和落地提供了天然的优势。通过“大数据”技术的应用，不仅能够解决传统的“存得下”、“看得清”的问题，更为视频监控从事后的人工抽检向智能的事前预警，从简单的视频文件存储向信息的分析挖掘，从高投入低回报的串行IT架构向高效率低延迟的并行架构的演进提供了技术上的可行性，最终为视频监控行业跨入“智能安防时代”提供了必要的条件。

      2.视频行业的“智能安防时代”

近年来随着信息技术的发展，传统的安全防卫水平已无法满足从社会大众到国家公共安全层面的要求。结合信息化技术的“智能安防”体系，顺应时代的潮流，得到了国家战略层面和普通大众的认可。智能安防区别于传统的安全防卫技术，主要涵盖服务的信息化、图像的传输和存储、数据的存储和处理等方面，通常的智能安防系统包含门禁、报警和监控三个部分。其中视频监控作为最直接和基础的安防手段成为了智能安防的核心。

智能安防时代，对于视频监控提出了以下基本的要求：

1）高清化

随着视频资料作为安保的重要证据和原始数据源，为了满足“看得清”的要求，监控摄像机的高清化成为必然的趋势。为了向上层视频分析算法和技术提供支撑，尤其是人脸识别、视频图像模糊查询、快速检索、精准定位等技术的要求，使得各类高清摄像头不断涌现，1080P已经逐渐成为行业主流。

2）高效存储

视频监控行业对于视频录像通常有两个共识：视频监控的数据90%是无用的；视频监控的录像数据超过一个星期后价值将降低90%。视频数据的存储耗费资源多、利用率低、价值无法体现等情况，确实是客观存在的事实。智能安防要求在存储层面能够通过智能化技术，提高存储效率、减少资源投入和提高有价值数据的存储占比。

3）智能分析和挖掘

怎样利用好视频监控采集到的信息，是智能安防的关键。对视频信息的智能分析和挖掘是一个将非结构化数据转换成结构化数据的过程，是对视频文件的解码、分析和识别的过程。将视频信息结合大量多维分析元数据，整合时间和空间的信息，才能挖掘出更多的有价值信息，这些分析和挖掘的结果将成为指导和提高智能安防水平的重要资源。

4）事前预警

传统的视频监控往往只是为了事后回看和人工抽检服务，这种“事后”和“人工”的方式无法体现视频监控的巨大价值。对特定事件和情况的事前预警已经成为了智能安防的重要课题。事前预警能够极大的提高公众对安防的满意程度、预防突发事件和生命财产损失的发生，防患于未然，体现高水平智能安防的社会价值。

     3.“大数据”助力行业革新

从视频监控行业的角度来看，推广和应用大数据技术，实现难点问题的解决，促进相关领域的技术进步，并最终助力整个行业的革新是一个可以期待并实践的结果。结合当前行业的发展现状和“智能安防”的发展方向，笔者认为可以从以下几个方面对大数据在视频监控行业的应用进行探讨和研究：

1）视频资源的存储

如前所述，传统的存储方式是全量的、周期性的无差别存储，如保留最近7天的存储文件等。这种存储的方式对于存储的利用率极低。因此视频编码格式的优劣就显得格外重要，既要保证高清视频的无损，又要提高压缩率。从目前主流的视频编码格式如H.264、MPEG-4等来看，越是有优势的编码格式，对硬件的编解码能力都提出了更高的要求，如表1所示。

表1 几种编码格式的比较

为了进一步满足对编解码效率和视频压缩率的要求，传统的硬件投入方式已经远远达不到要求。大数据平台由于具有强大的并行计算的能力，能够改变传统的串行计算的方式，使得编解码的速度比原来提高数十倍以上（依据大数据平台的集群大小决定）。这就使得一些对硬件要求更高且压缩率更低的编码格式能够出现，极大的压缩存储，提高存储资源的利用率。

同时，传统的单节点的视频存储模式常常在也无法保证比较高的可靠性，存储的损坏造成视频文件的丢失也是一个让人头疼的问题。大数据采用分布式文件系统，采用多节点多备份的方式，既能提高视频文件的读写效率，更能确保文件的高可靠性。

由于大数据平台强大的存储和计算能力，能够实现对原本分散的存储文件进行集约管理，文件的存储和分析集中在一起，避免传统的“信息孤岛”的存在，为上层的分析和挖掘工作提供存储层的支撑。

2）视频监控信息分析和挖掘

完成数据的采集后，对于非结构化的视频数据的分析和挖掘就成为了与大数据技术结合的最重要的部分。目前对视频监控信息的分析和挖掘主要分为视频检索、数据清洗和转换、事件关联规则挖掘、与外部数据的汇总挖掘等。

视频检索是一种快速的以图搜图的功能，能够提取已知图片的特征，在视频文件中快速定位特征位置。视频检索是一个适用于大数据并行计算场景的典型案例，较快的文件读取速率和集群化的并行数据处理能力能够显著的提高视频检索的效率。

为了满足人们对结构化数据分析的习惯，人们需要对非结构化视频文件的清洗和转换，提取结构化的数据，使用传统的数据库和数据仓库来进行分析。使用map/reduce计算框架从非结构化数据中提取结构化数据已经成为比较成熟的应用。如大型商场通过对视频数据进行提取，生成每个时间点商场中人数的结构化数据，用简单的数据库查询就能够分析出商场营业的高峰和低谷期，以便更好的分配广告和营销资源。

通过对历史视频数据的挖掘，分析出特定事件出现的关联关系，这种关联规则能够揭示出事件之间的内在联系，对于事件的分析和后期的预警都有很大的意义。“智能安防”是一个不断演变不断进步的体系，通过对历史数据的分析挖掘，找到事件的内在联系，才能不断完善安防体系，也更能体现出“智能”的价值。特别是在实时预警方面，提高预警的准确性和及时性的最核心的手段就是优化和提炼出更合理高效的关联规则。

大数据分析的一个重要的特点就是具有丰富的数据源。从智能安防的角度看，视频信息只有结合更多外部的数据源如门禁、交通信息、通话信息等等，才能多维度的挖掘和分析人们的行为，并进一步解释视频监控结果。这种内外部数据源的整合和集约，特别是结构化数据与非结构化数据的关联分析，在没有大数据技术之前是没有办法实现的。大数据平台通过hdfs、hbase和hive等技术实现了混合数据存储和挖掘，为这种复杂的分析提供了可能性。

3）实时预警

在实时预警未出现之前，传统的事后视频追踪一直是最普遍的形式。但是对于未来的预测一直是视频监控行业探索的方向。实时预警对于入侵检测、车辆识别、交通违法监控等场景都有很大的实际应用价值。怎么样通过历史的视频资料，结合实时监控，对可能出现的事件进行预警已经成为行业热点。“实时”意味着快速，怎样在网络中对采集到的视频进行快速的解码、分析和规则匹配，迅速做出判断。预警是能够将复杂规则部署到实际场景中，并预告将要出现的特定事件。因此实时预警要求的是低延迟和规则匹配。流计算技术作为大数据平台上特有的实时解决方案，能够方便的完成规则的部署，延迟一般小于1秒，已经广泛的运用在医疗、交通、电信等行业中，成为实时预警的必然选择。

从图1可以看出，大数据技术为视频监控行业提供了一整套完善的技术架构和解决方案，能够满足“智能安防时代”对视频监控行业的需求。从数据的采集、存储、整合以及信息的分析和挖掘等各个层面都有很好的应用前景，能够有效支撑智能安防系统中视频编解码、多维分析、视频检索、事件规则挖掘和实时预警等场景。随着大数据技术和视频监控行业的不断发展和交汇，该应用架构必将得到不断的完善。

     4.结束语

综上所述，大数据技术与视频监控行业有着天然的契合点，能够为视频监控行业的变革提供动力。通过对大数据技术与视频监控行业合作前景的讨论，尤其是怎样运用大数据技术解决行业难题，助力行业向“智能安防时代”前进，能够引发业内人士的热烈讨论，并最终促使大数据在视频监控行业的“落地开花”。