中文文本分类特征提取方法的研究与实现(13)

中文文本分类特征提取方法的研究与实现

是统一规范文档格式，以方便于后续工作。文本预处理起到过滤噪声数据的效果，其结果将直接影响文本分类的性能，是文本分类中关键技术之一。

本文研究对象是中文文本集合，中文文本预处理过程主要包括中文分词和去停用词。中文分词处理是将一段中文的字序列切分成词序列的过程。中文分词与英文分词不同，英文文本中以单词为基本单位，英文文本中将空格作为自然分界符号，词与词之间以空格隔开。中文文本中以字为基本单位，将标点符号与换行符号作为自然分界符号，句子与句子之间以标点符号隔开，段落与段落之间以换行符隔开，但是词语之间没有一个形式化的分解符。因此对中文分词可以看成是将一段连续的中文字序列按照一定规则重新组合成词序列的过程。

中文文本中通过名词、动词等实词来具体表示一篇文章的内容信息，对文本分类意义重大。同时中文文本中也包括了频繁出现的“我”，“的”，“了”，副词，语气词等虚词，此类词对文本分类毫无贡献，不能反映文本主题，这类词的存在只会对文本分类产生干扰，应该予以过滤。这类词在自然语言处理领域被称为停用词。在文本分类处理过程中，我们一般通过对文本分词，过滤停用词以及虚词对文本集合进行初步降维，只保留对文本分类有贡献的词语。

2.2.1 中文分词

中文分词是中文信息处理的基础，己经被广泛应用于中文信息领域的信息检索、机器翻译、自动摘要、汉字智能输入、中文校对、语音合成、汉字简繁体转换等技术中[15-17]。

① 中文分词的难点

中文是一种十分复杂的语言，人理解尚且有困难，更不用说让计算机理解中文。中文分词面临两大难题：歧义识别、未登录词识别。

1）歧义识别

中文分词过程中遇到的歧义字段有三种类型：组合型歧义、交叉型歧义和真歧义。

组合型歧义是指存在字串A、B、C，词表W，在字段AB中存在AB W，A W，B W。例如：组合型歧义字段“将来”可切分成“我/将来/要/当/科学家”和“我/将/去/成都/工作”。虽然在组合型歧义字段在中文中所占数量较少，但是由于中文语言本身的复杂性，使得对组合型歧义的处理相对比较困难。

交叉型歧义是指存在字串A、B、C，词表W，在字段ABC中AB W并且BC W。例如：交叉型歧义字段“为人民”可切分成为“为人/民”和“为/人民”。虽然交叉型歧义字段在中文中所占的数量比较大，但其处理方法相对简单，易于实现。

真歧义是指如果某一歧义字段，不结合其它信息，人也无法判断出其正确的切分方式，那么这样的歧义字段就叫做真歧义字段。例如：真歧义字段“羽毛球拍

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库中文文本分类特征提取方法的研究与实现(13)在线全文阅读。