基于Java的垂直搜索引擎的设计与实现

作     者：张书江 

作者单位：安徽理工大学 

学位级别：硕士

导师姓名：吴观茂

授予年度：2009年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：垂直搜索引擎 网络蜘蛛 Lucene Heritrix 网页信息抽取 Java 

摘      要：互联网的信息量呈爆炸趋势增长,增强了人们对搜索技术的依赖性。搜索引擎是开启网络知识殿堂的钥匙,获取知识信息的工具。但随着网络技术的飞速发展,获取更加准确、更加详细、更加深层的专业信息,成为对搜索引擎提出的新要求。 本文首先阐述了搜索引擎的发展历史,搜索引擎内部结构和实现原理。在分析了目前通用搜索引擎存在的问题后,进而引出垂直搜索引擎的概念,指出垂直搜索引擎的自身特点和发展前景。对现有的开源项目Heritrix和Lucene的内部功能架构进行了分析论述,在理解其设计思想的基础上进行扩展利用,探索性的提出了利用现有开源代码设计一个手机产品垂直搜索引擎的设想和实现思路。结合程序代码说明,一步一步地完成对指定网页的抓取、产品参数信息的抽取、生成词库、建立索引和将信息保存到数据库。最后建立了Web查询界面,完成对整个系统的构建工作。系统最终实现了概要设计中所有预定功能。本文的设计思路和实现方法,无论是对研究垂直搜索技术,还是构建一个实用的垂直搜索引擎都有一定的参考和借鉴价值。