3、基于统计的分词方法
从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息为： ，其中 是汉字X、Y的相邻共现概率， 、 分别是X、Y在语料中出现的概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。
在本课题中，采用 基于字符串匹配的分词方法来实现中文搜索引擎下的汉语自动分词系统。
四、 技术方案
1）研究方法：
1、 研究词典的存储方式和数据结构
2、 采用正向/反向最大匹配分词法实现自动分词
3、 对2中两种匹配分词算法的结果不一致的词进行提取，标记为歧义字段
4、 对歧义字段进行消歧处理
5、 对未登陆词进行处理
6、 从分词的准确性和分词速度方面对系统进行评价
7、 设计词典管理模块，完成对词典的更新和维护
8、 针对具体的中文搜索引擎应用背景，对自动分词算法进行改进
2）技术路线：
本项目的研究主要分为四个阶段来实施：
第一阶段：定义词典的数据结构
第二阶段：实现正向/反向最大匹配分词法
第三阶段：实现歧义处理
第四阶段：实现未登陆词处理
3）实验平台：
Windows + VC6.0
4）实验方案：
实验一：建立词典机制，实现词典管理模块
实验二：实现正向/反向最大匹配自动分词算法
实验三：检测并提取歧义字段，实现歧义处理模块
实验四：实现未登陆词处理模块
五、 已完成的工作
目前，已对整个系统的模块设计进行了规划，完成实验一和实验二，实现了词典管
理模块和正向/反向最大匹配自动分词算法。本课题选用1998年1月份人民日报语料进行统计和分析，得到词的统计信息如表1所示。
表1 1998年1月份人民日报语料库中词的统计信息
|
词类 |
词数 （个） |
词数所占百分比（%） |
词频 （个） |
词频所占百分比（%） |
|
单字词 |
2873 |
5.164480 |
361751 |
40.971094 |
|
二字词 |
30939 |
55.615675 |
463077 |
52.447046 |
|
三字词 |
10658 |
19.158727 |
38082 |
4.313081 |
|
四字及四字以上词 |
11160 |
20.061118 |
20032 |
2.268779 |
|
总词数/总词频 |
55630 |
100 |
882942 |
100 |
根据表2对1998年1月份人民日报语料库中词的统计数据，我们得到该语料库中出现的词条数的分布信息如图2(a)所示，词频数的分布信息如图2(b)所示：
图2(a) 人民日报语料库中词数的分布信息 图2(b) 人民日报语料库中词频的分布信息
以上统计数据表明，在汉语中，二字词占有绝大多数。因此快速判断二字词，对提高自
动分词效率起着至关重要的作用。在实现分词程序时，主要采用快速判断二字词和匹配分词交叉使用技术提高自动分词速度。
对词典的优化主要表现在以下几个方面：分词词典中以同一个词头开始的词是按内码顺序从小到大连续存放在一起的，且不包括首字，这样可以节省存储空间。同时采用内存映射文件技术，词典文件一打开就被映射到内存的某个地址，只有根据词头映射表具体访问某个词头偏移地址的时候，才会读取字典中对应词块的数据，检索时根据词头映射表指针，直接映射到该词头数据存储的文件偏移，再根据词条数目以二分法逐次匹配查找词，这样能提高词典的访问速度。
六、下一步工作展望
将正向/反向最大匹配自动分词算法得到的结果中不一致的地方标记为歧义字段，研究歧义处理算法，同时研究未登陆词处理，最后完成整个分词系统。
汉语文本词性标注标记集的规范