检索结果-南通市图书馆

软件学报 2008年第2期19卷 179-193页

作者：刘伟孟小峰凌妍妍中国人民大学信息学院北京100872

Web数据库中,海量的信息隐藏在具有特定查询能力的查询接口后面,使人无法了解一个Web数据库内容的特征,比如主题的分布、更新的频率等,这就为DeepWeb数据集成带来了巨大的挑战.为了解决这个问题,提出了一种基于图模型的Web数据库采样方... 详细信息

Web数据库中,海量的信息隐藏在具有特定查询能力的查询接口后面,使人无法了解一个Web数据库内容的特征,比如主题的分布、更新的频率等,这就为DeepWeb数据集成带来了巨大的挑战.为了解决这个问题,提出了一种基于图模型的Web数据库采样方法,可以通过查询接口从Web数据库中以增量的方式获取近似随机的样本,即每次查询获取一定数量的样本记录,并且利用已经保存在本地的样本记录生成下一次的查询.该方法的一个重要特点是不受查询接口中属性表现形式的局限,因此是一种一般的Web数据库采样方法.在本地的模拟实验和真实Web数据库上的大量实验表明,该方法可以在较小代价下获得高质量的样本.

关键词： deep Web Web数据库数据库采样

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

Web数据库特征表示和抽取方法的研究

Web数据库特征表示和抽取方法的研究

引用

作者：赵琳山东财经大学

学位级别：硕士

随着Internet的发展，Web正在加速地“深化”，Web可以简单地分为两部分：Surface Web和Deep Web。前者是指通过超链接就可以被传统搜索引擎搜索到的页面的集合;后者普遍被认为是网络中可访问的在线数据库。与Surface Web的信息相比，De... 详细信息

随着Internet的发展，Web正在加速地“深化”，Web可以简单地分为两部分：Surface Web和Deep Web。前者是指通过超链接就可以被传统搜索引擎搜索到的页面的集合;后者普遍被认为是网络中可访问的在线数据库。与Surface Web的信息相比，Deep Web中所包含的信息数据量更大、信息质量更好、专业性更强，因此日益成为人们获取信息的主要途径之一。由于Deep Web中大量的信息被锁定在数据库内，而许多网页也是通过响应具体的查询动态生成的，所以实现对Deep Web或WDB（Web数据库）的检索，不仅将大大扩充现有搜索引擎的搜索能力，更为人们方便地进行信息查找提供了便捷的手段。 WDB查询接口是我们访问和检索WDB的唯一路径，每个查询接口对应于不同的查询模式，用户通过填写不同的查询接口并提交请求，从而发现合适的信息。但是随着JavaScript、Ajax等动态脚本技术的广泛应用，查询接口的复杂性也在逐渐增加，另外网上有众多的WDB，而且其包含的数据也是多种多样的，所以快速识别WDB这类动态查询接口的特征、发现接口内各元素之间的约束关系、实现接口特征的量化表示并对特定领域的WDB数据的特征进行定量描述和抽取是实现对WDB自动访问和提高传统搜索引擎搜索能力的关键步骤。本文针对以上问题，主要以WDB特征为主线研究了WDB查询接口和WDB数据特征的表示方法、Web数据库采样、WDB查询接口和WDB数据特征的抽取方法。具体研究内容包括：（1） WDB查询接口和WDB数据特征的表示方法本文将WDB数据属性分为三类，即文本属性、分类属性和数值属性。对于文本属性，采取基于词频的特征表示;对于数值型属性，基于数值属性具有连续性的特点，且正态分布具有强大的普适性，我们采用正态分布的期望和偏差表示数值属性的特征;对于分类型属性采取基于统计的特征表示方法。在获取以上各类属性的特征后，将形成最终的特征向量。最后，因为本体具备良好的知识表示能力和推理能力，本研究采用本体的方法进行查询接口的表示。（2）基于贝叶斯模型的数据样本抽取方法为了实现对WDB特征的抽取，本文提出一种基于贝叶斯模型数据样本抽取方法，该方法大体过程分为5个步骤：①构建WDB初始查询;②通过初始查询获得查询结果;③将结果加入样本集并对查询结果进行分析，分别计算出各个特征词的概率和条件概率，为下一个查询做准备;④根据相似性原则判定获取样本的循环是否应该被终止;⑤继续下一步查询，直到循环被终止。根据实验对本文提出的采样方法的合理性和有效性进行了验证。（3） WDB查询接口和WDB数据特征的抽取方法基于以上研究，本文给出了WDB查询接口抽取方法和WDB数据特征抽取方法。首先，针对查询接口的上下文信息、表单信息以及表单域之间的关联信息给出相应的抽取方法，分别为基于正则表达式的表单信息的抽取和基于Watir和Ajax的表单域关系的抽取;其次针对WDB数据特征的抽取，分别给出了基于词频的文本型数据特征抽取、基于正态分布的数值型数据特征抽取和基于记录数量比值的分类型数据特征抽取。

关键词： WDB 查询接口特征表示特征抽取数据库采样

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：