检索结果-南通市图书馆

基于Spark的FP-Growth伴随车辆发现与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程与应用 2018年第8期54卷 7-13,35页

作者：刘惠惠张祖平龙哲中南大学信息科学与工程学院

随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注。但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合。提出了一种针对于此应用的新颖方法。采用Spar... 详细信息

随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注。但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合。提出了一种针对于此应用的新颖方法。采用Spark分布式并行计算框架提高运行速度,利用负载均衡原理对数据进行均衡化处理,再提出基于改进的FP-Growth的伴随车辆发现算法,利用置信度对结果进行后处理,剔除车辆随机伴随的情况,提高了检测正确率。该方法应用于长沙市交警大联合交管中心系统,其中将海量车牌识别数据存储在Hadoop大数据平台下的Hive数据库中,在交通PGIS(Police Geographic Information System)上可视化分析结果,实验证明了方法的高效性和可行性。

关键词：伴随车辆 Spark计算框架 FP-Growth算法随机伴随片伴随

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于关联规则挖掘的伴随车辆发现算法

计算机应用与软件 2012年第2期29卷 94-96,144页

作者：方艾芬李先通蔄世明岳鹏飞公安部交通管理科学研究所江苏无锡214151 哈尔滨工业大学交通科学与工程学院黑龙江哈尔滨150001 哈尔滨工业大学软件工程有限责任公司黑龙江哈尔滨150001

伴随车辆是公安刑侦部门对海量车辆通行信息检索的一类实战需求,目的是通过模糊条件查询得到潜在的结伴作案车辆,究其本质,可将此类查询转化为数据挖掘中关联规则挖掘问题。通过对公路车辆智能监测记录系统采集的过车数据进行分析,将伴... 详细信息

伴随车辆是公安刑侦部门对海量车辆通行信息检索的一类实战需求,目的是通过模糊条件查询得到潜在的结伴作案车辆,究其本质,可将此类查询转化为数据挖掘中关联规则挖掘问题。通过对公路车辆智能监测记录系统采集的过车数据进行分析,将伴随车辆查询转化为关联规则挖掘,利用数据挖掘技术对过车数据查询问题进行综合分析,实现高效率的伴随车辆查询算法AVD(Accompany Vehicles D iscovery)。算法分析表明,AVD不但能提供准确的伴随车辆查询结果,而且效率高、扩展性强,具有较高的可行性。

关键词：关联规则伴随车辆数据挖掘过车数据

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

关联分析在涉案伴随车辆挖掘中的应用研究

关联分析在涉案伴随车辆挖掘中的应用研究

作者：薛如冰北京交通大学

学位级别：硕士

随着城市机动车保有量的增长,伴随的问题也日益显现,其中车辆盗窃、利用机动车辆进行犯罪活动的案件也越来越多。对于犯罪涉案机动车,往往因为机动车辆具有机动性高、隐蔽性强等特点,因此容易快速逃逸现场,并不易被排查出,从而成为严重... 详细信息

随着城市机动车保有量的增长,伴随的问题也日益显现,其中车辆盗窃、利用机动车辆进行犯罪活动的案件也越来越多。对于犯罪涉案机动车,往往因为机动车辆具有机动性高、隐蔽性强等特点,因此容易快速逃逸现场,并不易被排查出,从而成为严重威胁社会安全的重要因素。所以,对机动车辆进行监控和管理成为新的问题。通过对以往大量涉案机动车行为的研究和分析,发现涉案机动车辆往往存在频繁出现于作案现场附近以及存在多辆车辆伴随出现的现象。本文基于《深圳市网格化机动车识别综合应用系统建设》项目,借助该系统前期运行所得的车辆车牌照识别数据,对布控区域内的涉案车辆的伴随情况、涉案车辆的历史轨迹以及对潜在涉案车辆的伴随车辆情况进行了分析。因为车辆数据十分庞大,仅一期项目的80个布控点每天的车牌照识别数据已经达到了百万级,因此在如此庞大的数据中如何快速、高效的获得涉案车辆或潜在涉案车辆的历史轨迹和伴随情况成为十分值得研究的问题。近年来,各种数据挖掘方法的逐渐成熟和在各个领域得到广泛应用,为解决以上问题给出了很好的解决思路。本文基于传统布尔关联分析对涉案车辆的历史轨迹和伴随情况进行了挖掘。并针对伴随车辆发现问题,对传统的布尔关联分析方法进行了改进和扩展,提出了新的基于相似度的关联分析,通过与传统布尔关联方法比较,结果显示在选择合适的相似度和规则析出阈值后本文扩展方法在伴随车辆发现中更为有效。本文的工作主要有以下几点:(1)分析课题背景,确定研究目标,提出需要解决的主要问题;并对提出问题进行抽象,得到其数学描述。(2)在对数据挖掘方法进行简要综述的基础上,重点研究了关联挖掘方法的研究进展及其在交通领域的应用进展。(3)针对提出问题,提取车牌照数据,并对原始数据进行了数据清洗、数据转换,以适合布尔关联分析。(4)使用布尔关联分析对涉案车辆的历史轨迹和伴随情况进行了分析,并分析了潜在的涉案伴随车辆。(5)提出基于相似度的扩展布尔关联分析方法,对涉案车辆的伴随情况,和潜在涉案车辆的伴随情况予以了分析,并与传统布尔关联分析方法进行了比较,结果显示本文扩展方法更为有效。

关键词：涉案机动车伴随车辆布尔关联分析扩展布尔关联分析历史轨迹

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于优化关联规则的车辆轨迹分析研究

基于优化关联规则的车辆轨迹分析研究

作者：李亮山东大学

学位级别：硕士

随着经济发展,人民生活水平不断提高,智慧城市建设在各地逐渐加大建设力度,是新基建建设的重点内容之一。其中,对车辆的管控是智慧城市建设的首要内容。一方面需要对城市车辆目标进行全面检测和识别,另一方面也要对特定车辆的轨迹进行... 详细信息

随着经济发展,人民生活水平不断提高,智慧城市建设在各地逐渐加大建设力度,是新基建建设的重点内容之一。其中,对车辆的管控是智慧城市建设的首要内容。一方面需要对城市车辆目标进行全面检测和识别,另一方面也要对特定车辆的轨迹进行分析刻画,以便能够掌握重要车辆的相关信息,例如查找伴随车辆,分析车辆落脚点,进行车辆轨迹预测等。这些信息将会给交通管理等相关部门提供巨大的辅助作用,对智慧城市的建设提供强大的数据支撑。但是随着城市车辆的大量增加,对车辆信息进行分析,管理,挖掘的难度也越来越大。为了更好的服务社会,相关部门迫切需要新的方式方法来高效的分析和利用这些数据。因此,通过关联规则算法完成对车辆轨迹的分析有着重要的应用意义。本文首先介绍了智慧城市的基本发展情况,车辆轨迹的种类,以及关联规则的产生和发展。重点分析了关联规则中的Apriori算法,并对其和其改进算法的优缺点做出总结。针对车辆轨迹分析方面的不足之处,做出了如下改进:1.针对经典Apriori算法的性能瓶颈问题,提出优化的T-Apriori算法,使其能够适合进行车辆轨迹分析。该算法采用布尔值矩阵的形式对数据进行关联,仅仅需要对数据库进行一次扫描,就可以得到频繁项集,极大的降低I/O资源浪费。并且在运算过程中,充分利用关联规则的性质进行剪枝,从而数据了压缩,提高了运算效率。2.运用T-Apriori算法对车辆进行关联分析,通过设定阂值,寻找满足阈值的频繁项集组来判定伴随车辆。该方法可以在大规模数据集中挖掘出伴随车辆组,解决了传统方法在伴随车辆挖掘过程中性能不足的缺陷。不仅充分利用了资源,而且获得更加丰富的信息,极大提高了效率。3.按照车辆在某一区域内出现频率的高低,将车辆落脚点预测分成高频车辆和低频车辆两个部分。利用T-Apriori关联规则的方法,将车牌号码和对应的历史落脚点进行关联,分析预测车辆可能的落脚点。并且在此基础上,结合路网实际情况,完成车辆的轨迹预测。实验结果证明,该方法可以较准确的完成车辆实时落脚点预测,并且相对精确的预测车辆的轨迹,具有一定的实用性。

关键词：关联规则 Apriori 伴随车辆车辆落脚点

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

伴随车检测技术应用研究

交通运输系统工程与信息 2012年第3期12卷 36-40页

作者：赵新勇安实哈尔滨工业大学交通科学与工程学院哈尔滨150001

海量动态交通流中,经常出现结伴而行的车辆.特定区域内,当结伴车辆出现的概率较大时,即可将其视为伴随车辆,这类车辆具有相互掩护和团伙作案的重大嫌疑.及早检测和识别伴随车辆,能有效降低道路交通安全系统中的危险因素,对预防和减少与... 详细信息

海量动态交通流中,经常出现结伴而行的车辆.特定区域内,当结伴车辆出现的概率较大时,即可将其视为伴随车辆,这类车辆具有相互掩护和团伙作案的重大嫌疑.及早检测和识别伴随车辆,能有效降低道路交通安全系统中的危险因素,对预防和减少与道路有关的治安和刑事案件,也具有十分重要的意义.本文在车牌自动识别数据库基础上,应用数据挖掘技术,提出伴随车辆检测和识别算法,并进行了实地测试.实验结果表明:应用数据挖掘技术对伴随车辆进行分析检测,具有检测效率高、检测误差小、应用范围广的特点,完全可以满足刑侦等部门对伴随嫌疑车辆进一步排查的需要.

关键词：交通工程车辆识别数据挖掘伴随车辆

面向海量交通信息流的分布式序列模式挖掘研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向海量交通信息流的分布式序列模式挖掘研究

作者：郑苏杭杭州电子科技大学

学位级别：硕士

近年来,随着我国经济建设持续不断的高速发展和人们生活水平的不断提高,城市机动车保有量连年持续增长,机动车已成为各城镇居民出行的主要交通工具之一。但与此同时,利用机动车进行的违法犯罪活动也越来越多,如：机动车假牌假证、机动... 详细信息

近年来,随着我国经济建设持续不断的高速发展和人们生活水平的不断提高,城市机动车保有量连年持续增长,机动车已成为各城镇居民出行的主要交通工具之一。但与此同时,利用机动车进行的违法犯罪活动也越来越多,如：机动车假牌假证、机动车伴随、机动车违章逃逸及盗抢等。由于涉案机动车辆往往具有灵活、隐蔽性强、机动性高等特点,这给公安交警部门对犯罪嫌疑车辆的侦查和追踪增大了难题。目前,随着道路监控技术的发展,我国各大城市普遍布设了车牌识别监控点,其不断积累的交通信息流过车记录为涉案车辆的检测、追踪或预测预警提供了有效的数据支持。序列模式挖掘作为数据挖掘的一个重要研究领域,可用于分析和挖掘带时间特征的交通信息流中隐藏的有价值模式,从而为社会有关部门提供更好的决策与服务。然而,由于交通信息流数据量的不断增大,传统的序列模式挖掘算法在数据存储空间和处理效率上已无法满足实际应用需求,分布式计算平台的出现解决了海量数据的存储和计算瓶颈,从而使针对海量交通信息流的序列模式挖掘成为可能。 Hadoop作为一个方便、快速的分布式计算平台,利用分布式文件系统HDFS实现了对大文件或超大文件的存储和容错,并使用MapRedcue编程模型实现了快速运算。但是,由于传统的序列模式挖掘算法只适用于对集中存储的数据进行分析处理,因此如何设计适合在Hadoop平台上运行的分布式序列模式挖掘算法是有效实现海量数据处理的关键。针对分布式平台特性,深入研究序列模式挖掘的具体实现步骤并尽可能增大算法并行化实现部分,有利于提高海量数据的序列模式挖掘效率。本文将基于Hadoop的分布式序列模式挖掘与针对交通信息流领域的实际应用相结合,利用Hadoop分布式平台的优势来解决传统序列模式挖掘在海量数据处理上的不足。首先,本文详细介绍了分布式文件系统HDFS的存储设计原理及文件读写流程,并据此实现了交通信息流的数据预处理。通过对过车记录数据进行有效的清理、转换和归约,实现了其从传统关系型数据库到分布式文件系统HDFS中的转移与转换,以方便后续的分布式序列模式挖掘。然后,本文剖析了MapReduce编程模式的运行机制,给出了序列模式挖掘相关概念在交通信息流中的新定义,并设计了基于MapReduce的交通信息流分布式序列模式挖掘算法。本文给出了算法的详细实现过程及算法优缺点,并针对该算法挖掘结果的局限性,结合闭合序列模式挖掘的BIDE算法,实现了BIDE算法的并行化及到Hadoop分布式平台的有效移植,从而满足更完整、更全面的应用需求。最后,本文搭建了Hadoop集群实验环境,并将相关算法应用于公安、交警等部门基于海量交通信息流的伴随车辆识别案例中,从理论和实验两方面对比和验证了算法的有效性与实用价值。综上所述,本文所提出的分布式序列模式挖掘算法是可行的、有意义的。其在Hadoop分布式平台上所展现的较好适应性与扩展性,反映了在实际应用中引入分布式模型解决海量数据序列模式挖掘问题的必要性,同时也为其他序列模式挖掘算法在Hadoop平台上的有效运用提供了一定的参考。

关键词：海量交通信息流序列模式挖掘分布式计算 Hadoop 伴随车辆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向汽车电子标识的数据分析系统

面向汽车电子标识的数据分析系统

作者：高翔西安电子科技大学

学位级别：硕士

随着国民经济的高速发展,道路上机动车保有量不断地增长,使道路交通的压力剧增导致了交通拥堵,进而增加了出行成本同时也造成了环境污染等诸多问题,使社会的运行成本增长。射频识别(Radio Frequency Identification,RFID)由于其具有识... 详细信息

随着国民经济的高速发展,道路上机动车保有量不断地增长,使道路交通的压力剧增导致了交通拥堵,进而增加了出行成本同时也造成了环境污染等诸多问题,使社会的运行成本增长。射频识别(Radio Frequency Identification,RFID)由于其具有识别准确性高不被天气等因素干扰、识别速度快、包含信息更全面等优点,广泛应用于交通领域,形成了汽车电子标识,为解决城市道路交通问题提供了一种新手段。在机动车上安装汽车电子标识标签,在采集点的道路上方安装汽车电子标识识读设备,对采集交通数据对数据进行处理,分析车辆的行为,检测伴随车辆,识别道路交通拥堵和预测交通流。本文以深圳市汽车电子标识数据为基础,设计了面向汽车电子标识的数据分析系统,借助交通流参数分析了城市道路的出行特征,通过一段时间内的汽车电子标识数据分析车辆的伴随行为检测、交通拥堵识别和短时交通流预测。为道路交通管理部门提供合理化建议,缓解城市道路交通问题。本文的主要工作内容如下:(1)伴随车辆检测。伴随车辆是交通领域的概念,指在一定时间内某些车辆一起通过识读站点的数量达到某一阈值,伴随车辆检测主要针对可能存在的协同作案的车辆。本文的伴随车辆检测主要通过各个采集点获取的汽车电子标识,通过使用基于Spark平台的FP-growth(Frequent Pattern growth)的伴随车辆检测算法,利用键值对的方式处理汽车电子标识数据,可提高伴随车辆检测的效率。(2)交通拥堵识别。在汽车电子标识数据基础上,选取交通量和速度作为主要的交通流参数,分析了道路交通的运行状态。通过模糊理论使用FCM(Fuzzy C-means)算法,针对不同道路实际交通拥堵状态,对不同样本数据聚类中心的差异,使用均值移动的方法确定初始聚类中心,同时分析了模糊指数和聚类数目的取值,以获取最佳聚类效果,得到路段状态的识别结果,并对路段拥堵状态判别结果进行了分析,使用模型评价指标,验证了算法的准确性和并行化后提高了效率。(3)短时交通流预测。针对交通流数据具有时序性,周期性等特点,建立基于ARIMA(Autoregressive Integrated Moving Average)的短时交通流预测模型。在对短时交通流预测中使用时间序列的ARIMA算法能够取得较好的效果,但ARIMA模型只能分析数据线性性质,对于不稳定峰值波动会出现一定误差。由于实际交通流的复杂性,只用ARIMA模型难以取得很好的预测效果,本文提出了ARIMA-GARCH(Autoregressive Integrated Moving Average Generalized autoregressive conditional heteroskedasticity)模型,用于短时交通流预测,解决了交通流的非线性特征,准确率达到94%,并利用Spark平台提高了执行效率。在以上模型研究的基础上,基于Spark平台并结合kafka消息中间件,设计和实现了一个基于汽车电子标识的数据分析系统,对汽车电子标识数据进行存储,处理和分析;给出了系统的概要设计和系统的架构、数据库设计,以及数据管理模块、伴随车辆检测模块、交通拥堵判别模块、短时交通流预测模块的详细设计与实现。

关键词：汽车电子标识伴随车辆交通拥堵交通流模糊聚类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

卡口过车信息挖掘技术研究

卡口过车信息挖掘技术研究

作者：李雨浙江工业大学

学位级别：硕士

随着机动车辆保有量的不断增加,卡口过车信息剧增,通过对卡口过车信息挖掘,能够得到很多被忽视的潜在信息,比如寻找拥堵路段、嫌疑车辆等,从而达到智能交通管理的效果。但是随着卡口过车信息的剧增,对其进行存储、管理、挖掘的难度也越... 详细信息

随着机动车辆保有量的不断增加,卡口过车信息剧增,通过对卡口过车信息挖掘,能够得到很多被忽视的潜在信息,比如寻找拥堵路段、嫌疑车辆等,从而达到智能交通管理的效果。但是随着卡口过车信息的剧增,对其进行存储、管理、挖掘的难度也越来越大,因此,通过大数据技术,完成对卡口过车信息的挖掘处理具有重要的应用意义。本文首先介绍了智能交通的发展概况,数据挖掘过程以及大数据技术。为了通过对卡口过车信息进行数据挖掘,从而完成智能交通管理的目标,针对原有的IOE架构存储压力大、设备成本高、实时处理延迟大等问题,本文提出采用Hbase数据库完成对卡口过车信息的存储以及线下数据挖掘,采用Flume-kafka完成对卡口过车信息的采集,采用Storm完成对卡口过车信息的实时处理。对于卡口过车信息存储以及线下处理,本文主要针对伴随车辆这个安全问题进行研究。通过对伴随车辆的定义以及任务的确定,对Hbase表模式进行合适的设计之后,完成对卡口过车信息的存储,并且能够快速检索出被测车辆的伴随车辆信息。对于卡口过车信息实时处理,本文针对套牌车辆进行了研究。通过对套牌车辆的定义,对卡口实时过车信息进行合适的处理之后,通过设计好的算法对其进行检测。最后论文对所提出的卡口过车信息处理方法进行了仿真验证,结果表明,本文基于大数据的信息挖掘技术能够对套牌车辆的检索效率提升近260倍,而且检索结果更为全面;同时,在考虑到时空不合理性以及系统识别错误率的前提下,能够对卡口过车信息进行实时处理,完成套牌车辆查询,做到零延迟。

关键词：智能交通管理数据挖掘大数据技术伴随车辆套牌车辆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

移动对象数据流下相似轨迹查询方法研究

移动对象数据流下相似轨迹查询方法研究

作者：卢帅北方工业大学

学位级别：硕士

近年来,随着物联网技术及传感器技术的不断推广,各类基于大范围车辆监测数据的智能交通应用快速发展。相似轨迹查询是其中的一类重要应用,它利用已有的车辆监控数据挖掘车辆轨迹间的相似关系,可以为公安民警办理涉车案件、犯罪嫌疑车辆... 详细信息

近年来,随着物联网技术及传感器技术的不断推广,各类基于大范围车辆监测数据的智能交通应用快速发展。相似轨迹查询是其中的一类重要应用,它利用已有的车辆监控数据挖掘车辆轨迹间的相似关系,可以为公安民警办理涉车案件、犯罪嫌疑车辆跟踪分析以及城市道路规划等相关交通业务提供支撑,具有重要的意义和实际应用价值。本文结合城市道路车辆管控应用背景,针对道路车辆这一移动对象,开展了海量车牌识别数据集下的相似轨迹查询问题的研究工作。论文在分析和总结已有工作和研究成果基础上,重点从车牌识别数据下的相似轨迹判定以及海量数据集下分布式的相似轨迹查询处理两方面进行了深入的研究。论文的主要工作包括：第一,针对车牌识别数据具有的监测点相关、时序上流式关联等特征,给出了一种车牌识别数据集下基于点伴随关系的车辆相似轨迹查询方法定义。第二,提出一种基于多级MapReduce流水线的相似轨迹查询计算技术并基于Hadoop实现了相应的相似轨迹查询系统,该技术从冗余数据过滤、数据并行划分执行、轨迹相似度定义等方面实现了相似轨迹查询计算优化处理,可支持分布环境下基于海量车牌识别数据的相似轨迹高效查询。第三,通过基于亿级海量真实车牌识别数据集的一组实验,验证了本文提出方法的高效性能、可扩展性及准确性等各项性能。

关键词：交通识别数据相似轨迹多级流水线伴随车辆相似度