检索结果-南通市图书馆

基于HBase的多模态医疗大数据存储模型及其检索优化

在线全文

学校读者我要写书评

暂无评论

基于HBase的多模态医疗大数据存储模型及其检索优化

作者：刘梓汐中南大学

学位级别：硕士

随着大数据时代的到来,医疗数据量急剧增长。建立医疗大数据统一存储与管理模型,实现不同医疗机构间的信息共享,对于促进智慧医疗、推进诊疗和疾病预测技术的发展具有重要意义。然而,传统关系型数据库无法适应大数据时代的数据规模,而HB... 详细信息

随着大数据时代的到来,医疗数据量急剧增长。建立医疗大数据统一存储与管理模型,实现不同医疗机构间的信息共享,对于促进智慧医疗、推进诊疗和疾病预测技术的发展具有重要意义。然而,传统关系型数据库无法适应大数据时代的数据规模,而HBase因其低成本、高可靠性和支持多种模态数据存储等特点,已成为大数据时代首选的数据库。考虑到医疗大数据来源广泛、规模巨大、模态多样,因此设计一个满足医疗大数据统一存储、检索和管理的模型是异常复杂的。为实现上述目标,本文研究了以下内容:(1)本文设计了一个适用于多模态医疗大数据的存储模型。首先,通过梳理医疗大数据的来源及其模态构成,结合医疗大数据的特点,本文设计了一个基于HBase的医疗大数据存储模型。为了实现模型的可扩展性,不同模态的数据被分类存储在不同的列簇中,以提高数据的读写效率,方便管理和维护多模态。其次,本文采用预分区和Row Key打散的策略来解决写热点问题,实现了数据在不同的Region Server中的均匀分布,从而避免了性能瓶颈的产生。最后,本文比较了常见的大数据压缩算法,并选择了适合医疗大数据的最佳算法进行压缩。该压缩算法可以减少存储空间,同时保证数据传输效率和完整性。经实验证明,该存储模型具有可行性和高效性,能够满足多模态医疗大数据的统一存储需求。(2)本文对上述存储模型的检索性能进行了优化。一方面,数据动态管理模块提出了识别数据温度的S-TCR方法和为不同数据动态选择最佳存储介质的SL-TCR算法,以最大限度地发挥快速存储介质的性能优势,从而有效地提高检索速度。另一方面,索引管理模块提出了改进的二级索引优化策略,即使用Bloom Filter过滤不存在的检索关键词,并重设计索引的Row Key,使主数据和索引数据由同一个Region Server管理,以减少I/O开销,从而提高医疗数据的多样化检索速度。经过实验验证,该检索优化方案能够满足医疗领域对于检索速度和多样化检索的要求。图36幅,表10个,参考文献70篇

关键词：分布式存储技术 HBase数据库医学大数据存储模型检索优化冷热数据分离方案

基于Oracle数据库大数据的检索优化分析与设计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数码世界 2017年第4期 31-32页

作者：杨莹辽宁锦州渤海大学信息科学与技术学院

文中基于Oracle数据库采用各种检索优化方法来提高数据库的响应速度:合理设计表字段存储结构、合理建立索引技术、表分区技术、优化SQL检索语句等技术手段实现数据库的检索优化。本文研究关于如何优化数据库检索性能优化方案,通过分析... 详细信息

文中基于Oracle数据库采用各种检索优化方法来提高数据库的响应速度:合理设计表字段存储结构、合理建立索引技术、表分区技术、优化SQL检索语句等技术手段实现数据库的检索优化。本文研究关于如何优化数据库检索性能优化方案,通过分析影响检索优化因素提升系统性能,确定本文检索优化方案的目标,期望通过本文检索优化方案达到最优化,另外,基于分页显示检索到的全部查询结果在某种程度上是为了提高检索速度。

关键词： Oracle数据库大数据检索优化表分区技术 SQL优化索引技术

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

海量文件分布式存储与检索优化方法

中国科技经济新闻数据库教育 2016年第9期 227-227页

作者：王晓卉孙玉林山东商务职业学院信息与艺术设计系山东烟台264670

针对海量文件的检索出现的性能瓶颈问题,本文提出了基于Hadoop的海量文件存储及检索方法,通过Sequence实现对小文件合并,并在合并过程中设定单个Sequence File的偏移量,解析索引快速定位存储文件Block的DataNode和Fileld,解决海量文件... 详细信息

针对海量文件的检索出现的性能瓶颈问题,本文提出了基于Hadoop的海量文件存储及检索方法,通过Sequence实现对小文件合并,并在合并过程中设定单个Sequence File的偏移量,解析索引快速定位存储文件Block的DataNode和Fileld,解决海量文件数据扩容和快速检索的问题。

关键词： Hadoop 小文件检索优化

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于Lucene全文检索技术的优化探讨

计算机时代 2017年第11期 16-19页

作者：胡杰郭乔进陈彬中国电子科技集团公司第二十八研究所江苏南京210007

当今社会已经进入信息量爆发式增长的大数据时代,如何从海量数据中快速查找信息成为当前研究的热点,Lucene软件作为优秀的开源全文检索工具已被广泛应用于各种搜索引擎。文章通过对全文检索原理与Lucene工具架构的研究,从优化内存索引... 详细信息

当今社会已经进入信息量爆发式增长的大数据时代,如何从海量数据中快速查找信息成为当前研究的热点,Lucene软件作为优秀的开源全文检索工具已被广泛应用于各种搜索引擎。文章通过对全文检索原理与Lucene工具架构的研究,从优化内存索引、索引压缩处理、优化磁盘索引等方面探讨Lucene检索效率的优化。实验结果证明,通过优化内存索引、索引压缩处理等方法可以有效地提高全文检索的效率。

关键词：全文检索 Lucene 倒排索引检索优化

用户专利检索的眼动和脑电行为特征及其在优化结果排序中的应用研究

在线全文

学校读者我要写书评

暂无评论

用户专利检索的眼动和脑电行为特征及其在优化结果排序中的应用研...

作者：倪华江苏大学

学位级别：硕士

随着数字化进程不断发展,信息数量呈几何级数增长,导致用户对同一个问题的检索结果不断增加。用户获得的大量冗余检索结果降低了检索的精确率,如何提高检索结果排序的合理性成为本领域研究的关键问题。本研究以用户专利检索为例,通过开... 详细信息

随着数字化进程不断发展,信息数量呈几何级数增长,导致用户对同一个问题的检索结果不断增加。用户获得的大量冗余检索结果降低了检索的精确率,如何提高检索结果排序的合理性成为本领域研究的关键问题。本研究以用户专利检索为例,通过开展用户测前和测后问卷、半结构访谈、眼动行为和脑电行为实验等多种方法,挖掘用户兴趣,并依据用户兴趣对检索结果进行优化排序,从而提高了用户对检索结果排序的满意度。本研究主要包括以下四个方面的内容。(1)国内外信息行为研究及检索结果优化研究现状分析。利用文献调研法,梳理国内外信息行为现有研究,揭示领域研究前沿,并进一步论证了通过实验方法研究用户信息行为已具有较好的研究基础和理论依据。检索结果排序优化主要是依据对用户数据的挖掘,通过对文献的可视化分析,对比学科间检索结果优化的研究角度差异,为专利检索结果优化提供启示。(2)用户专利检索的眼动和点击行为特征及兴趣度计算研究。结合实验和问卷访谈方法,利用Tobii T60XL眼动仪对24名被测者阅读检索结果过程进行记录与分析。通过兴趣度指标选取和用户行为数据分析,研究检索结果兴趣度表示的一般方法,为检索排序优化提供依据。(3)用户专利检索的脑电行为特征研究及在兴趣度计算中的应用研究。探索和验证了脑电行为特征与用户对检索结果兴趣度的关联。通过假设-验证的实验范式,提出用户对检索结果兴趣程度与脑电成分的关联,通过EGI脑电记录设备,对24名被测者进行实验,验证了脑电行为数据运用于用户兴趣度计算的可行性,并对实验结果展开讨论,得到脑电数据用于兴趣度表示的方法。(4)专利检索结果排序优化的实证研究。通过对专利文献的特征分析,构造出利用专利文献特征的检索结果排序优化方法。将专利文献的国际专利分类号IPC与用户既有数据进行比较,结合实验采集的用户行为动态特征数据,对专利检索结果进行排序优化。通过对24名被测者的实证分析,23.7%的检索结果至少提前一个页面呈现给用户,提高了用户检索效率,通过问卷调查得到的主观数据也印证了优化效果。

关键词：专利检索用户信息行为眼动实验脑电实验检索优化

基于Spark SQL的分布式全文检索框架的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2018年第9期45卷 104-112,145页

作者：崔光范许利杰刘杰叶丹钟华中国科学院大学北京100049 中国科学院软件研究所北京100049

随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战。传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求。Spark SQL是基于大数据处理框架Sp... 详细信息

随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战。传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求。Spark SQL是基于大数据处理框架Spark的数据分析工具,目前已支持TPC-DS基准,成为大数据背景下传统数据仓库的替代解决方案。全文检索作为一种文本搜索的有效方式,能够与一般的查询操作结合使用,提供更加丰富的查询和分析操作。目前,Spark SQL仅支持简单的查询操作,不支持全文检索。为了满足传统业务迁移和现有业务的使用需求,提出了分布式全文检索框架,涵盖了SQL文法、SQL翻译转换框架、全文检索并行化、检索优化4个模块,并在Spark SQL上进行了实现。实验结果表明相比于传统的数据库,在两种检索优化策略下,该框架的索引构建时间、查询时间分别减少到传统数据库的0.6%/0.5%和1%/10%,索引存储量减少为传统数据库的55.0%。

关键词： Spark SQL 全文检索翻译转换框架检索并行化检索优化

Oracle数据库矢栅数据一体化存储与管理

在线全文

学校读者我要写书评

暂无评论

测绘学报 2017年第5期46卷 639-648页

作者：吴政李成名武鹏达沈建明孙伟中国测绘科学研究院GIS所北京100830

当前多源异构空间数据存储和管理存在流转难度大、存储不统一、效率不高等问题。本文将关系数据库与空间数据引擎技术结合,提出了一种基于Oracle的面向对象的矢栅数据一体化存储与管理方法。该方法首先建立了矢栅一体化存储模型并优化... 详细信息

当前多源异构空间数据存储和管理存在流转难度大、存储不统一、效率不高等问题。本文将关系数据库与空间数据引擎技术结合,提出了一种基于Oracle的面向对象的矢栅数据一体化存储与管理方法。该方法首先建立了矢栅一体化存储模型并优化了检索方法,然后据此构建了数据无缝流转框架,实现了多源异构矢栅数据的统一存储与高效管理。通过与国际领先的同类软件ArcSDE进行测试对比,该方法具有更高的数据流转性能及更优的查询检索效率。

关键词：多源异构空间数据矢栅一体化存储检索优化数据流转

在线全文

学校读者我要写书评

暂无评论

基于草图局部不变矩特征的图像检索

基于草图局部不变矩特征的图像检索

作者：鲍振华西北大学

学位级别：硕士

便携式拍照设备的普及促进了图像数据的迅速增长,人们对于高效的图像检索方法的需求也越来越迫切。草图图像对于描述人类脑海中的模糊图像概念有着极大的优势,且随着触屏手机、电脑的推广,用户可以方便地绘制并输入需要查询的草图图像,... 详细信息

便携式拍照设备的普及促进了图像数据的迅速增长,人们对于高效的图像检索方法的需求也越来越迫切。草图图像对于描述人类脑海中的模糊图像概念有着极大的优势,且随着触屏手机、电脑的推广,用户可以方便地绘制并输入需要查询的草图图像,这更加推动了基于草图的图像检索方法蓬勃发展。本文针对现有草图检索方法中存在的数据库图像预处理粗糙,提取的轮廓线包含较多噪声点,草图特征提取方法对形变的鲁棒性差,匹配检索方法优化不够,与用户交互性差的问题,分别从图像预处理、草图特征提取以及图像检索匹配三个方面进行深入研究。论文的主要工作包括:1.提出一种基于Snake和显著图的彩色图像草图化处理方法。针对现有草图检索方法对数据库图像预处理不够重视、处理粗糙的问题,利用显著度对比确定图像中物体的大体位置,并利用梯度绘制初始轮廓线,再根据Snake模型迭代获得精准的轮廓边界。该方法处理得到的轮廓草图结构简单、图像的主体部分突出且噪声点较少,贴近手绘草图的绘制习惯。2.提出一种基于局部几何不变矩的草图特征提取方法。针对现有草图特征提取算法对识别形变草图鲁棒性差的问题,根据各草图的几何特征分别建立坐标系,并以此坐标系对草图分块,利用几何不变矩提取各图像块的特征向量作为草图的特征。该方法以对图像各种变化鲁棒性较好的矩为特征描述方法,保证了草图识别效果的同时通过对多维特征向量的组合匹配有效提高了大规模图像检索的匹配准确率。实验表明,该方法能够有效检索出不同尺度、位置、旋转角度及形变的草图图像,识别准确率较形状上下文、梯度方向直方图、GIST特征提取算法和EI-S算法平均提高了 12%以上。3.提出一种基于模糊理论和蚁群算法的图像检索优化方法。针对大部分草图检索匹配算法分类匹配简单、与用户交互性差的问题,以隶属度函数划分并排序草图图像检索结果,根据用户对检索图像的反馈结果更新图像关联度矩阵,利用该矩阵对检索结果进行优化。对不同特征提取方法的检索结果优化实验表明该方法对图像检索结果准确率有一定的提升,可有效提高相似图像的排序。

关键词：草图检索草图化不变矩图像分块检索优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境中高效密文排序检索技术研究

云环境中高效密文排序检索技术研究

作者：姜莹莹南京邮电大学

学位级别：硕士

在信息爆炸的时代,越来越多的云计算数据所有者倾向于将个人数据迁移到云端,以节省存储成本从而获得更多便利。但是为了有效地保护个人隐私,很多数据必须进行加密,这使得基于明文关键词检索的传统数据利用方式很难发挥作用。因此,新而... 详细信息

在信息爆炸的时代,越来越多的云计算数据所有者倾向于将个人数据迁移到云端,以节省存储成本从而获得更多便利。但是为了有效地保护个人隐私,很多数据必须进行加密,这使得基于明文关键词检索的传统数据利用方式很难发挥作用。因此,新而有效的云端密文检索方案就显得十分重要。本文针对云环境下密文排序检索方法中的效率问题,重点研究了如下内容:（1）基于HCB-Tree的多关键词密文排序检索方法（MRSE-HCB）:该方法使用HCB-Tree来提高检索效率,并根据二分k-means聚类算法创建检索树,将数据存储在HCB-Tree的叶子节点中,中间节点则存储以该节点为根的子树所构成的簇的提取型最大向量。检索过程中,首先检索出与关键词相关性最高的文档,然后检索存储该文档的叶子节点的相邻节点。通过这种方式,可以将检索时间消耗降低至亚线性级。（2）基于过滤阈值选取的检索效率优化方法（OFT）:考虑到现有的基于树形索引的密文方案中均使用过滤阈值提高检索效率,但初始过滤阈值均设为0,在检索初期,该阈值的剪枝过滤作用不明显,因此,本文提出一种基于过滤阈值选取的检索效率优化方法。该方法在检索启动时,选取出合适的过滤阈值,从而更有效地剪掉大量无关子树,进一步提高深度优先搜索过程中的剪枝效率。该方法适用于面向云环境的基于树形结构索引的密文检索应用场景,能够在不影响检索结果精度的情况下,有效提升检索效率。（3）基于Eclipse开发平台,以Java语言和Swing框架相结合,具体设计并实现了多关键词密文排序检索的实验仿真系统。该系统的功能设计主要分为六个模块:文档预处理、文档数据聚类、索引结构创建、明文向量加密、多关键词检索以及检索主界面。

关键词：云计算树形索引检索优化排序检索可搜索加密