基于网页图像分类的自动化网页正文抽取模型

作     者：秦龙 李晓戈 穆诤辉 李涛 QIN Long;LI Xiao-ge;MU Zheng-hui;LI Tao

作者机构：西安邮电大学计算机学院陕西西安710121 西安邮电大学陕西省网络数据分析与智能处理重点实验室陕西西安710121 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2023年第44卷第2期

页      面：386-392页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划基金项目(2018YFB1402905) 陕西省重点研发计划基金项目(2020GY-227) 

主　　题：图像分类 网页正文抽取 卷积神经网络 残差网络 预训练模型 标准差 文本长度 

摘      要：运用卷积神经网络技术提出一种基于网页图像分类的自动化网页正文抽取模型(I-AWCE)。通过分析现有网页类型及网页正文在网页中的位置和结构特点,将网页分为文章网页和列表网页。根据网页截屏图像在卷积神经网络模型中的分类结果,分别提出两种基于多特征融合的网页正文提取方法。实验结果表明,网页图像数据集在LeNet-5和预训练模型的效果最好;与Boilerpipe抽取模型相比,基于图像分类的自动化网页正文抽取模型具有较高的准确性,可以满足网页正文自动化抽取的实际需要。