车辆大数据在智能交通中的重要作用-明景车辆大数据分析检索系统

• 2016/09/27

随着我国城镇化和公路网络的快速发展，地区车辆的汇集使得车辆在繁忙路段和特殊时期变得拥堵不堪，交通出行成为日渐突出的问题。虽然各地都针对目前遇到的难题开始着手建设智能交通综合管控平台，但由于缺乏高效的平台系统，很多地方在海量数据的采集、处理和分析应用方面，在结合视频监控、交通信号控制系统、诱导系统、交通流量检测系统等方面的综合应用还有待提高。

      传统架构的瓶颈

　　通过各路前端设备24小时不间断的抓取，属于安防性质的海量数据出现了激增。以保定市为例，每天由卡口、电子警察等车牌识别设备所产生的数据量约1200万余条，一年达到45亿条的数据规模。除此之外，还有车辆抓拍的图片数据、违法记录、事故处理等产生的业务数据和实时流量信息，以及路网管理与交通事件信息等多种类型的数据。这些海量数据的产生，使得很多传统的系统架构面临着一个海量数据采集、存储、计算、应用的难题，并且通过越来越多的突发交通时间可以分析发现，视频监控的作用仍然停留在被动服务于“事后研判”的模式，整个监控和控制系统并未做到主动干预，更无从谈起防患于未然。

　　与此同时，在面对海量数据时，也暴露了传统的系统架构在海量结构化数据处理上的瓶颈，如系统存储无法弹性扩容;查询速度缓慢，无法快速响应突发事件;应急指挥系统操作复杂;各种类型数据资源分散，无法做到整合并进行综合分析……这些都预示着当前的交通部门需要一个可以应付智慧交通业务需求的全新系统架构。

      大数据提高城市治安管理水平

　　大数据的价值在于通过对大数据进行高速捕获和实时分析，及时获取核心业务和战略决策所需的关键信息，提升管理决策水平。
　　依据统计学，任何动态发展的事物，只要有足够多的样本数据，就一定能从样本数据中找到动态发展的规律。数据越多，准确率越高，这就是数据的价值所在。对于商业应用，可以通过数据分析用户行为规律从而提高销售量、分析市场规律从而定点投放广告降低成本；对于公安行业，可以通过数据分析区域性犯罪趋势，提前预防从而降低犯罪率，可以分析交通行为规律，提前做交通疏导，提高交通通畅率。

　　大数据通过对海量数据的整合和挖掘，揭示传统技术方式难以展现的关联关系，还可以预警风险，及时切断风险链。例如：

　　针对堵车现象，实时采集车流数据，自动控制信号灯，让堵车能有所缓解。
　　针对城乡结合部“治安盲区”，采集人口流动信息，分析出潜在风险，警力针对性地科学调配。
　　针对保险理赔，通过社会信息搜集分析系统，上海等地正积极探索商业保险公司参与社会治理，将保险事务由“事后理赔”转为“事先风险防范”。
　　针对聚集疏导，通过关键词搜索技术、热力图技术、电子巡逻技术等，探索预测人群聚集苗头和动向，人员过密时及时提示预警，适时分流人群。
　　针对犯罪热点，集成公安专业数据，实时掌握犯罪轨迹、预判犯罪热点，提高防范打击犯罪的水平。
　　针对安全生产，工程建设特别容易出事，建立工程建设监管和信用平台，以大数据为依托，“全程留痕”，让监管“无死角”。

      车辆大数据面临的问题

　　大数据的特征是大量性（规模超大、不断攀升）、高速性（高速产生、处理高效）、多样性（种类多样、来源多样）、低密性（有用数据提纯）。海量数据给常规技术（获取存储管理、处理传递共享、关联聚类分析）带来了众多挑战——虽然数据很多，但是有用的数据只有34%，好用的数据仅有7%，被分析的数据更是少到只有1%。如何在海量的数据中提取出有价值的信息需要多学科多技术的研究。当前的特点是大数据、小模型、小定律交叉，即使是同一类问题，每个系统也都不一样，所以模型和程序要针对数据设计。结构化数据通过数据库或者数据仓库解决，半结构化数据使用网页和搜索引擎等技术解决，非结构化数据使用深度学习、网络交互和群体智能解决。
　　干警在实战使用中，最主要的操作应用是查询车牌信息和其他过车记录以便掌握线索。面对动辄几十亿、上百亿甚至千亿级别的海量过车数据的存储和查询压力，如何进行可靠存储和高效应用？传统的普通关系型数据库解决方案和技术手段存在检索难、并发难、挖掘难、扩容难、应用难等一系列问题，速度慢、准确性差，需要投入大量的精力和资源进行技术升级改造。因此，及时准确获取各类相关数据并构建大数据处理模型是建设平安城市大数据中心的前提，而这一难题目前正逐步通过先进的大数据技术进行解决。

  　车辆大数据的几项关键技术

　　1、海量数据检索
　　数据检索作为大数据最基本的应用，分布式内存检索引擎通过将海量数据在集群各个节点创建索引，并高速缓存在各节点内存，节点之间通过分布式特有的网络通信技术，用最小的代价将计算和读取数据完成汇总。当然，基于智慧城市车辆大数据中数据模型的特点，还要对分布式内存检索引擎的机制做专门的优化，才能实现千亿级数据多条件组合的秒级查询。
　　针对百亿级以上数据，大数据检索的硬件服务器需要考虑SSD固态硬盘，核心数据存储在固态硬盘，可以提高磁盘的读取速度，在分布式并行计算的同时，进一步提升了数据的检索效率，也为数据的稳定性提供了重要保障。
　　2、大数据研判分析
　　目前比较先进的方式是流式处理与批量处理相结合，以Hbase数据仓库为数据源，针对车辆大数据研判分析，可以提供多样化的应用功能，既满足实时在线的数据处理需求，又支持海量数据的线下分析。例如，天地伟业Easy7公安实战平台的信息深度研判系统提供了多点碰撞、区域徘徊、伴随车辆、昼伏夜出等将近20种技站法以及各种流量统计和态势分析，都是在数据挖掘中将流式处理技术、数学统计算法、遗传算法、神经网络算法、贝叶斯判别、机器学习等算法结合起来，并针对现场用户实际需求研发出来。

      车辆大数据分析检索系统的应用

       以北京明景科技有限公司推出的明景车辆大数据分析检索系统为例，该系统基于视频流、图片流的智能车辆识别系统，是国内第一个车辆全信息识别检索系统，利用先进的深度学习技术，实现对卡口设备采集的车辆图片进行全信息识别，通过大数据分析和挖掘手段，为公安交警部门打击嫌疑、假牌、套牌、驾驶人违章等各类违法行为提供有力保障，有效弥补了传统平安城市项目中对于智慧交通和车辆治安管控的极大不足，能够极大提升城市治理和治安管控的水平，促进智慧公安和智慧交通向更高的科技水平发展。

　　在大数据技术支撑下，该系统为用户提供了以下三点使用价值：

　　海量数据，综合研判

　　整合容纳结构化基础信息，通过大数据挖掘系统按照既定的规则对情报化信息进行分析，寻找内在联系，例如大货车闯禁行、交通态势分析、套牌车辆分析，跟车关联分析，车辆轨迹碰撞，可疑人员、可疑车辆分析等，从海量的情报化信息中挖掘隐藏在其中的警情信息，服务于交通管控，公安治安应用，做到防患于未然。

　　精确检测，疏导交通

  　通过收集电子警察、智能卡口、流量检测系统所采集的过往车辆信息，排队长度等信息，结合路网的历史车辆通行时间，能够实时检测路网的通行状况，为出行者提供方便快捷的交通数据。

　　及时纠正车辆违法

　　对道路车辆进行实时监测，对车辆闯红灯、逆行、压双黄线、驾驶员不系安全带驾驶等各种违法行为进行自动判定及抓拍，也可以在重要的路段对于黄标车、大货车闯禁行等行为进行自动抓拍，从而规范驾驶员驾驶行为，保证车辆有序顺畅通行，减少交通事故。

　　透过这些贴近用户业务的需求，以及体现用户价值的功能应用，可以看出车辆大数据技术对于构建新型智慧交通系统架构的核心作用是相当的明显。在未来的交通行业市场，大数据技术是极其重要的竞争力，谁能在海量的安防数据里收集、存储和利用有价值的数据，并切合用户需求解决实际业务发展的需求，谁将获得交通行业市场更多的话语权。