基于分类的智能搜索引擎研究与实现

中原工学院学报

JOURNALOFZHONGYUANUNIVERSITYOFTECHNOLOGYVol.21 No.3Jun.,2010

文章编号:1671-6906(2010)03-0041-04

基于分类的智能搜索引擎研究与实现

程传鹏

(中原工学院,郑州450007)

摘 要: 将文本分类技术应用到搜索引擎上,提出了一种基于自动分类的智能搜索引擎系统原型系统.在此基础上,对智能搜索引擎中的网页特征提取、特征加权、网页分类提出了一定的思考和见解.关 键 词: 搜索引擎;特征提取;KNN分类算法

中图分类号: TP391.07 文献标识码: A DOI:10.3969/j.issn.1671-6906.2010.03.012

目前的搜索引擎主要有2大类:分类目录式的搜索引擎工具和全文检索式的搜索引擎工具[1].分类目录有助于逐步缩小主题范围或者查找关于某个主题的权威性较强的信息,该方法查准率高,但查找方式不灵活;全文搜索引擎通过关键词匹配的方式检索信息,检索结果经过相关度排序后,提交给用户.该类查找方式缺点是返回信息乱,用户需要耗费很多时间来浏览返回的结果,查准率不够高,而且用户要花费大量的时间进行/二次筛选0.

为了提高用户的查准率并缩短查准时间,本文提出将文档自动分类技术应用到搜索引擎上,通过文档分类器自动地将检索结果快速分类.对检索结果进行分类标注,可以大大降低用户需要浏览的检索结果数量,方便用户快速查找信息.

分类的意义是不同的,一些通用的、各个类别都普遍存在的词汇对分类的贡献小,在某特定类中出现比重大

而在其他类中出现比重小的词汇对网页分类的贡献大.为了提高分类精度,对于每一类,应去除那些表现力不强的词汇.

YangYiming通过大量的实验研究证明,X2统计量是目前效果最好的特征选择方法之一[4].

在一些网页中,有些词条出现的次数较低,但却与文章的主题有很强的关系,因此这类词也应该作为特征词进行提取.但传统的62(t,c)统计量方法对这类低频词是不公平的.62(t,c)中,如果Ay0时,By0时,那么6(t,c)y0,按照6统计量的计算方法,在多类中普遍出现的高频词的权重将比只在特定类中出现的低频词的权重高,所以说6统计量对低频词不公平.而在实际的分类中,在多类中普遍出现的高频词语,它们的特征区分度差,应该被滤掉.

所以,在本文中提出了一个变形后的62*公式:

6(t,c)=

2

N(AD-CB)log(N/Nft)

(A+C)(B+D)(A+B)(C+D)2*

2

2

2

1 分类检索关键技术及改进

1.1 特征提取

原始的特征空间由可能出现在文章中的全部词条构成.而中文的词条总数有二十多万条,这样高维的特征空间对于几乎所有的分类算法来说都偏大,可以达到几万维[2],因此需要进行维数压缩工作.这样做的目的主要有2个:一是提高程序的效率,提高运行速度;二是提高分类的精度

[3]

(1)

式中:N表示训练语料中的文档总数,c表示某一特定类别,t表示特定的词条,A表示属于c类且包含t的文档频数,B表示不属于c类但是包含t的文档频数,C表示属于c类但是不包含t的文档频数,D是既不

.所有几万个词汇对网页

收稿日期:2010-05-05

作者简介:程传鹏(1977-),男,河南信阳人,讲师,硕士.

#42#

中原工学院学报2010年 第21卷

属于c也不包含t的文档频数,Nft为出现t的文档数.1.2 本文采用的特征加权方法

特征词在文档文件中所处的位置和特征词的长度往往包含着重要的信息,而传统的TF2IDF公式忽视了这一重要的信息,忽略了词汇在文章中的重要程度.这是因为特征词的权重是由许多因素决定.

特征词的长度也是决定特征词权值的重要因素.对于中文文档信息,词的长度越长,则该词出现在文档中的几率就越小;反过来说,出现在文档中的较长的词,有理由相信它比短词包含更多的信息[3].如果只是采用简单的词频统计的话,就会忽略文档频率低但却包含了重要信息的长词条.

网页与纯文本文件不同的是,网页里有各种各样的标签,不同的标签都有着特殊的含义,往往出现在网页标题上的特征词,更能够体现该网页的中心思想,还有一些内容文字,网页作者想要引起读者注意,往往用较大的字体来显示.所以特征词的权值大小还与特征词出现在网页中的位置有关.在一些标签内出现的特征词一般更能表现网页的中心思想,应在该网页向量模型中赋予较高的权重.在本文中具体标签及权重赋值见表1.

表1 权重赋值表

标签