检索结果-南通市图书馆

作者：周炜鸿广州大学

学位级别：硕士

随着互联网的发展,数据量爆炸性增长,特别是字符串类型的数据,如URL、用户ID等,其处理效率直接关系到数据库性能。传统的索引方法如B树、哈希表等,虽然在某些应用场景下表现良好,但面对大规模、高动态性的字符串数据,这些方法要么索引... 详细信息

随着互联网的发展,数据量爆炸性增长,特别是字符串类型的数据,如URL、用户ID等,其处理效率直接关系到数据库性能。传统的索引方法如B树、哈希表等,虽然在某些应用场景下表现良好,但面对大规模、高动态性的字符串数据,这些方法要么索引效率不高,要么空间利用率低。学习索引(Learned Index)作为一种新兴的数据结构,通过机器学习模型预测数据位置,显示出了处理大规模数据集时的潜力,尤其是在数值型数据上的应用成果显著。然而,如何有效地将学习索引应用于字符串类型的数据上,仍是一个待解决的挑战。本研究提出的SLIPP(String Learned Index with Precise Positions)索引通过结合了Trie树结构和学习索引的特点,不同于以往的学习索引将字符串整个作为模型的输入,SLIPP将字符串分割成多个片段,并对每个片段使用独立的机器学习模型进行索引。这种设计不仅充分利用了字符串的局部性特征,降低了用机器学习模型处理字符串类型数据的复杂度,提高了模型推理速度,而且通过精简模型参数,有效降低了内存占用。此外,SLIPP通过精确预测数据的存储位置,从而避免了学习索引的“最后一英里”搜索问题,实现了快速的数据访问。为了验证SLIPP索引的性能,本研究在多个数据集上进行了广泛的实验,包括随机生成的字符串数据集和真实世界的URL数据集。实验结果表明,与现有的支持字符串处理的学习索引方法相比,SLIPP在查询效率、空间占用以及索引构建时间上都有显著的优势。特别地,SLIPP显示出了其出色的空间效率。这些实验不仅证实了SLIPP索引的理论设计的有效性,也展示了其在实际应用中的潜力。虽然SLIPP索引在多个方面展现了优异的性能,但在处理具有高度重复前缀的字符串数据时,其性能仍有待优化。未来的研究将进一步探索新的模型优化策略和索引结构调整机制,以提高SLIPP索引在更广泛数据分布情况下的适应性和效率。此外,如何设计高效的并发控制机制以充分利用多核心处理器的硬件资源,也是未来工作的重点之一。总之,SLIPP索引作为一种新型的面向字符串的学习索引,其高效的数据处理能力和低内存占用特性,使其在现代大规模内存数据库中具有广泛的应用前景。通过持续的优化和改进,有望为数据库索引技术的发展开辟新的方向。

关键词：数据库数据结构学习索引字符串

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于强化学习的DDoS攻击检测与缓解研究

基于强化学习的DDoS攻击检测与缓解研究

作者：谭灏南广州大学

学位级别：硕士

随着网络与计算机技术的快速发展和广泛应用,网络威胁也日益严重,而集成了人工智能技术的新型攻击日渐频繁。这些攻击具有速度快、适应性强和自动化程度高的特点,使得攻防之间的不对称性日趋严重。DDoS(分布式拒绝服务)攻击,作为一种普... 详细信息

随着网络与计算机技术的快速发展和广泛应用,网络威胁也日益严重,而集成了人工智能技术的新型攻击日渐频繁。这些攻击具有速度快、适应性强和自动化程度高的特点,使得攻防之间的不对称性日趋严重。DDoS(分布式拒绝服务)攻击,作为一种普遍且危害大的网络攻击形式,以其隐蔽性和高效性成为攻击者的常用手段,在人工智能技术的加持下,对互联网安全构成了严重的威胁。对于基于流量特征的攻击检测方法而言,在训练和识别过程中面临着不同类别样本不平衡问题,造成检测方法在识别少数类别的攻击流量时的准确性受到挑战。此外,自动化水平有限的攻击缓解策略难以应对动态的网络环境和变化的攻击方式,层出不穷的新型攻击使传统缓解方法面临巨大的挑战。本文针对DDoS攻击防御需求,研究应对少数样本类别攻击检出率低、缓解策略智能化水平不足这两个问题的方法。针对DDoS攻击检测,提出了基于强化学习的入侵检测方法,有效提高了对少数类别攻击的检出率;针对DDoS攻击缓解,提出了基于强化学习的DDoS攻击缓解框架,结合所提出的检测方法,实现了缓解策略的智能化。本文的研究成果总结为以下三点:(1)提出了基于强化学习的DDoS攻击检测模型ASD2ER。通过自适应样本分布双经验回放池机制,能够识别并留存相对数量少但目标价值高的类别样本,从而解决其被多数类别样本淹没的问题。进一步,通过类别权重自适应更新,实现了样本经验池类别比例的动态调整,提高了模型对少数类别样本的检测效果。模型在NSL-KDD和CICDDoS2019两个数据样本非常不平衡的数据集上分别达到了82.03%和98.94%的准确率,能够有效识别少数类别攻击,并且相较于其他模型达到了更高的精确率,展现了其在DDoS攻击检测任务中的良好性能。(2)在ASD2ER模型进行DDoS攻击检测基础上,提出了一个DDoS攻击缓解框架,利用软件定义网络的集中控制和全局视图优势,基于Actor-Critic强化学习方法设计攻击缓解模型,实现DDoS攻击智能化缓解。通过模拟实验,验证了框架和攻击缓解模型在动态响应DDoS攻击上的有效性,相比于传统封锁端口和限制速率等缓解手段,合法流量留存率最高分别提高了23%和6%,在有效抑制攻击流量的同时,保障了合法用户的正常服务。(3)设计并实现了一个DDoS攻击检测与缓解原型系统,集成了本文提出的ASD2ER模型和DDoS攻击缓解框架,实现了实时检测网络攻击流量、自动生成攻击缓解策略和检测与缓解的可视化,验证了本文模型和框架的可行性与有效性。

关键词：强化学习主动防御 DDoS攻击缓解入侵检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

室内移动对象轨迹的相似性计算及轨迹预测

室内移动对象轨迹的相似性计算及轨迹预测

作者：周泽宇广州大学

学位级别：硕士

城市化进程的不断加速,使得室内空间成为人们主要活动场所。基于室内轨迹数据的研究在商业推广、室内导航、位置预测等方面有着广泛的应用,并且随着室内空间的扩张和室内定位技术的多元化发展,对于室内环境下移动轨迹的相似性研究和轨... 详细信息

城市化进程的不断加速,使得室内空间成为人们主要活动场所。基于室内轨迹数据的研究在商业推广、室内导航、位置预测等方面有着广泛的应用,并且随着室内空间的扩张和室内定位技术的多元化发展,对于室内环境下移动轨迹的相似性研究和轨迹预测提出更多的挑战。目前,连续定位数据格式下的轨迹相似性计算主要是基于字符等同性比较的方法,这些方法更注重时空间维度轨迹点的对齐而没有充分考虑轨迹采集过程中遇到的位置噪声和异构采样的问题,导致算法鲁棒性较差;此外,现有的室内轨迹预测主要基于类马尔可夫模型的数据挖掘方法,没有充分挖掘和融合轨迹空间分布特征与轨迹的语义规律到模型中进行预测。针对以上问题,本文从室内轨迹的相似性计算和室内轨迹预测两方面进行研究,主要的工作如下:(1)针对室内轨迹连续定位的位置噪声和异构采样问题,基于核密度估计方法,本文提出一种新的室内轨迹时空相似度计算方法STS。方法将轨迹中的每个位置都建模为空间上的概率分布而非具体空间点;然后根据从历史轨迹得出的个性化速度概率分布来估计物体在任意两个位置之间的转移概率,有效地减少对训练数据的需求;在此基础上,计算轨迹点的共址概率,从而推导出任意两条轨迹的相似性。实验表明STS算法的准确率和鲁棒性高于基线算法,并验证各算法模块的有效性。(2)针对离散定位的室内轨迹预测问题,在轨迹的空间时间特征之上,进一步考虑轨迹语义信息带来的隐藏特征,提出一种基于隐马尔可夫方法的预测方法。所提出的方法首先根据Wi-Fi接入点的相似性对它们进行聚类;然后,对轨迹数据进行基于频繁子轨迹的处理,用于捕获和化简用户的移动模式。此外,方法假设客户的访问历史具有某些习惯的语义模式,设计连续语义算法对轨迹的语义隐藏信息进行挖掘;最后,方法将基于频繁子轨迹的方法与连续语义预测集成到一个统一的框架中,进一步提高预测能力。本文使用室内数据集进行大量实验,表明本算法的预测准确性高于现有算法。

关键词：室内位置服务轨迹相似性轨迹预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

图数据上的路径分析算法

图数据上的路径分析算法

作者：张九经广州大学

学位级别：硕士

跳数约束的s-t简单路径(k-st路径)枚举是图数据库中的一个基础问题,同时也在许多现实世界的应用中发挥着至关重要的作用,尤其是在图数据一直处于动态变化的动态图场景下。给定一个边不断发生更新的动态图G、一个起始节点-目标节点对s-t... 详细信息

跳数约束的s-t简单路径(k-st路径)枚举是图数据库中的一个基础问题,同时也在许多现实世界的应用中发挥着至关重要的作用,尤其是在图数据一直处于动态变化的动态图场景下。给定一个边不断发生更新的动态图G、一个起始节点-目标节点对s-t和一个跳数约束k,k-st路径枚举旨在列出从起点s到终点t的所有长度不大于k的简单路径,然后在边发生更新后不断地枚举出由边更新所导致的路径更新。虽然关于k-st路径枚举已经有研究工作提出了解决方案,但所有现有的解决方案一开始都是为静态图设计的,并不能高效地处理动态图的更新。当直接使用现有的针对静态图的工作处理动态图时,要么路径枚举的效率相对较低,要么更新结果的成本过于高。为了应对这些挑战,本文提出了一种基于子路径的索引结构和基于索引的高效枚举算法。另外,本文还提出了高效的技术来有效地维护索引并在图发生更新时枚举出受边更新影响的部分路径。本文在多个数据集多种负载下的实验结果表明,本文所提出的CPEupdate算法在动态图上的性能优于基线算法高达4个数量级。实验结果还表明,即使在静态图上,本文所提出的CPEstartup算法的性能也能取得与当前最先进的静态方法类似的性能表现。此外,对于一些路径结果数量过多而导致路径枚举失去实际意义和实时计算能力的场景,本文提出了使用路径计数来代替路径枚举的策略。对于路径计数查询,本文提出了一种高效的算法来计算路径数,能够在无需枚举所有路径的情况下完成路径计数。并且实验结果表明,在一些所需计算量较大的查询中,使用路径计数能够节省超过90%的计算时间开销。

关键词：简单路径枚举路径分析简单路径计数

面向异构体系的图计算加速研究——基于FPGA的HcPE算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向异构体系的图计算加速研究——基于FPGA的HcPE算法研究

作者：黄文磊广州大学

学位级别：硕士

在大数据时代下,图数据规模迅速扩张,图计算的复杂度也随之增长。随着摩尔定律的逐渐失效,通用计算平台已经难以满足人们在日常生活中对图计算的实时需求。由于异构平台的高性能、高能效表现,面向异构平台的图计算加速逐渐成为一种发展... 详细信息

在大数据时代下,图数据规模迅速扩张,图计算的复杂度也随之增长。随着摩尔定律的逐渐失效,通用计算平台已经难以满足人们在日常生活中对图计算的实时需求。由于异构平台的高性能、高能效表现,面向异构平台的图计算加速逐渐成为一种发展趋势。跳数约束的单源简单路径枚举(HcPE)问题作为当下重要的图计算研究问题之一,该问题中基于异构平台的算法工作有且只有PEFP算法。作为基于FPGA上的HcPE单核加速算法,PEFP在预处理与多核并发上仍有优化空间。基于以上背景,为了研究面向异构体系的图计算加速问题,本文旨在研究更先进的基于FPGA的HcPE加速器。在预处理方面,本文提出ReBFS算法,与PEFP相比降低时间复杂度与减少诱导子图大小,并且设计一种基于图排序的策略与一种基于距离排序的剪枝策略,分别用于优化查询时的访存开销与减少查询时的搜索空间。由此,本文还提出基于CPU的基线查询算法ReDFS。在查询方面,本文在PEFP的框架与ReDFS的基础上提出基于FPGA的查询算法FSHA。该算法设计一种基于剪枝的流水线优化策略,以增加流水线吞吐量,并利用UltraRAM等额外存储扩展片上存储空间,从而减少对DRAM的高昂读写开销。此外,本文基于多核优化思路进一步提出FMHA算法,实现CPU与多核FPGA的并行加速查询。本文在11个真实数据集上开展大规模实验,实验结果表明,与当前最先进的PEFP相比,FMHA、FSHA的算法性能与稳定性更优。在单FPGA上,基于六个计算核心的FMHA的预处理时间、查询时间、总时间相较于PEFP的平均加速比分别为2.02、59.94和32.01。

关键词：图计算路径枚举 FPGA 加速器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大规模属性图上的异常检测

大规模属性图上的异常检测

作者：郭秋羽广州大学

学位级别：硕士

图或网络,是一种被广泛使用的数据结构,是描述真实世界复杂系统的通用语言。然而,图上普遍存在异常,它们是现有系统中的潜在危害,且藏匿于图的复杂拓扑结构和高维节点属性之中难以被发现。如果能成功检测异常,它们将可以作为现有系统的... 详细信息

图或网络,是一种被广泛使用的数据结构,是描述真实世界复杂系统的通用语言。然而,图上普遍存在异常,它们是现有系统中的潜在危害,且藏匿于图的复杂拓扑结构和高维节点属性之中难以被发现。如果能成功检测异常,它们将可以作为现有系统的重要指令,如计算机网络管理员一旦识别到了异常的入侵者,就能迅速做出反应,避免数据泄露和其它更严重的危害。然而,在图上进行异常检测并不容易。作为一种图分析任务,图异常检测首先要面对的是复杂的非欧式数据,通用的面向欧式数据的高效检测器在图上将会失效;其次,异常与大多数数据存在显著差异,它是一个统计性的概念,没有明确的定量分析指标;而且,异常的定义决定了它与其它正常数据形成了一个天然的数量鸿沟,这导致了两种数据之间的不平衡。大量的研究推动了图上异常检测技术的进步,它们在一定程度上改善了现有系统的数据质量,但是它们解决的问题还不够实际。因为真实世界系统中,异常是稀疏的,异常的数量并不总是随着网络规模的增加而增长,可能在成千上万个节点的网络中只有不到十个异常点,这加剧了异常检测样本的不平衡。在大规模网络中只存在少数几个异常的问题是一种更为现实的少样本异常检测设定。现有方法大多在有上百个异常的数据集中表现良好,却无法应对样本条件更加极端的少样本设定。因此,本文旨在更加严格的少样本设定下研究大规模属性图上的异常检测问题。本文提出了一个少样本异常检测的端到端模型。它是基于MAML(Model-agnostic Meta-learning,与模型无关的元学习)的扩展,是一种跨子图元学习框架,框架之上构建了一个图表示学习模块和一个基于梯度更新的可学习超球体检测器,可以应对极端不平衡的异常检测场景并能扩展到大规模网络上进行检测。模型在单个子图上进行超球体异常检测学习,在众多子图之间学习如何在正常点和异常点之间自适应地维护超球体的可学习半径,构建不断变化的动态决策边界,用于识别不平衡数据条件下的异常点。模型在跨子图的框架下通过MAML的梯度更新步骤迅速迭代,快速适应新的检测环境。此外,本文的模型只需要待检测节点周围的少数节点就可以实现对待检测节点异常性的测试。在五个数据集(其中包含了一个大规模数据集),六个对比方法(其中包括三个最先进的方法)的实验中展现了本文模型的优越性能。

关键词：异常检测属性图少样本学习图神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于低成本技术的室内定位

基于低成本技术的室内定位

作者：邵子灏广州大学

学位级别：硕士

随着移动网络及智能设备的发展,人们的位置信息成为了诸多应用的关键信息,例如出行导航系统和广告投放服务等等,都给人们的日常生活带来了极大的便利。由于GPS(Global Positioning System)无法提供有效的室内位置信息,因此室内定位技术... 详细信息

随着移动网络及智能设备的发展,人们的位置信息成为了诸多应用的关键信息,例如出行导航系统和广告投放服务等等,都给人们的日常生活带来了极大的便利。由于GPS(Global Positioning System)无法提供有效的室内位置信息,因此室内定位技术逐渐成为了研究热点。低成本室内定位技术相比高成本室内定位技术有着成本低和适用范围广的特点,因此本文重点研究低成本室内定位技术。本文对现有的低成本室内定位技术进行详细的研究和各种技术间的优缺点分析后,将基于Wi-Fi指纹数据的室内定位技术作为本文的研究方向。由于现有的基于Wi-Fi指纹数据的室内定位工作存在着数据集规模小、覆盖室内面积较小和私有指纹数据库等问题,因此研究成果并不适用于室内面积较大的场景且难以进行算法性能对比。另外,现有工作主要集中于当前所在位置的具体坐标进行定位,并没有进行全面综合的室内定位。因此本文的研究目的是基于覆盖面积广、公开的Wi-Fi指纹数据库进行用户所在的建筑物、楼层和坐标的综合定位。为解决现有的基于Wi-Fi指纹数据的室内定位技术中存在定位精度不高的缺陷,针对单一的KNN算法定位精度不高且计算过程没有考虑AP(Access Point)特性和RSSI(Received Signal Strength Indication)特性等问题进行改良,本文提出了两种室内定位方法,分别是基于RSSI过滤和KNN的室内定位方法,以及基于BPSO(Binary Particle Swarm Optimization)、神经网络和KNN的室内定位方法。基于RSSI过滤和KNN的室内定位方法中包含了基于RSSI最值和RSSI区间的过滤方法,同时使用多设备标准化解决多设备RSSI测量标准不统一问题,以及对KNN算法的距离度量函数进行改进,提高定位精度。基于BPSO、神经网络和KNN的室内定位方法使用BPSO和皮尔逊相关系数进行特征选择,即得到最优的AP组合,使用神经网络提高建筑物和楼层定位精度以及使用KNN算法进行坐标定位。实验验证和分析了本文提出的室内定位方法在三种评价标准下的定位效果,最终本文提出的室内定位方法的最好效果相比原始算法的平均建筑物定位精度提高了1.71%,平均楼层定位精度提高了4.32%,平均坐标定位误差降低了4.97米。

关键词：低成本室内定位技术 Wi-Fi指纹数据 RSSI过滤 BPSO KNN