三、几种典型的自动分词系统评介
衡量自动分词系统的主要指标是切分精度和速度。由于切分速度与所运行的软、硬件平台密切相关，在没有注明运行平台时，切分速度只是一个参考指标，没有可比性。另外，所注明的切分精度都是开发者自测试的结果。
1、几个早期的自动分词系统
自80年代初中文信息处理领域提出了自动分词以来，一些实用性的分词系统逐步得以开发，其中几个比较有代表性的自动分词系统在当时产生了较大的影响。
CDWS分词系统是我国第一个实用的自动分词系统，由北京航空航天大学计算机系于１９８３年设计实现，它采用的自动分词方法为最大匹配法，辅助以词尾字构词纠错技术。其分词速度为5-10字/秒，切分精度约为1/625，基本满足了词频统计和其他一些应用的需要。这是汉语自动分词实践的首次尝试，具有很大的启发作用和理论意义。例如，它比较科学地阐明了汉语中的歧义切分字段的类别、特征以及基本的对策。
ABWS是山西大学计算机系研制的自动分词系统，系统使用的分词方法称为“两次扫描联想-回溯”方法，用联想-回溯来解决引起组合切分歧义。系统词库运用了较多的词法、句法等知识。其切分正确率为98.6%(不包括非常用、未登录的专用名词)，运行速度为48词/分钟。
CASS是北京航空航天大学于1９８８年实现的分词系统。它使用的是一种变形的最大匹配方法，即正向增字最大匹配。它运用知识库来处理歧义字段。其机械分词速度为200字/秒以上，知识库分词速度150字/秒（没有完全实现）。
书面汉语自动分词专家系统是由北京师范大学现代教育研究所于1991前后研制实现的，它首次将专家系统方法完整地引入到分词技术中。系统使知识库与推理机保持相对独立，知识库包括常识性知识库（词条的词类24种、歧义词加标志及其消除规则编号、消歧的部分语义知识，使用关联网络存储）和启发性知识库（消歧产生式规则集合，用线性表结构存储），词典使用首字索引数据结构。通过引入专家系统的形式，系统把分词过程表示成为知识的推理过程，即句子“分词树”的生长过程。据报道，系统对封闭原料的切分精度为99.94%，对开放语料的切分精度达到99.8%，在386机器上切分速度达到200字/秒左右。这些性能代表了当时的一流成就。现在看来，这个系统的一个重要理论意义是进一步研究清楚了歧义切分字段，即把歧义字段分为词法级、句法级、语义级和语用级，并且统计出它们的分布分别为84.1%、10.8%、3.4%和1.7%，还给出了每一种歧义的处理策略，从而比较彻底地剖析了汉语歧义切分字段的性质。它的另外一个理论意义是给出了当前基于句法和语义处理技术的歧义分析精度的上限（“语义级理想切分精度”1/6250），并且说明只有综合运用各种知识、信息和推理机制的分析方法才又可能趋近理想切分精度。尽管本系统由于结构复杂、知识库建造困难且并不像预想的那么易于维护、效率不易提高等原因而未能广泛流行，但是其理论分析和指导思想已获得了普遍关注，影响了众多后继系统的开发。
2、清华大学SEG分词系统
此系统提供了带回溯的正向、反向、双向最大匹配法和全切分-评价切分算法，由用户来选择合适的切分算法。其特点则是带修剪的全切分-评价算法。系统考虑到了切分盲点的问题（某些字串永远不会被某种分词方法匹配出来），由此提出了全切分的概念，即找出输入字串的所有可能的子串，然后利用某种评价方法从所有这些可能的子串中选出最佳子串序列作为分词结果。为了解决全切分所带来的组合爆炸问题，又引进了对全切分过程进行修剪的方法，强制性地截止某些全切分的进行。用户在使用时，对于歧义较少的语料，可采用正向或反向最大匹配法；对于有较多交叉歧义的语料，可使用双向最大匹配法；对于其它歧义较大的语料，则采用全切分-评价算法，并需要采用一个合适的评价函数。由于对具体语料的统计参数设置了不确切初值，全切分-评价算法在第一、二遍切分过程中的正确率较低，随着切分的多遍进行，评价函数逐渐得以矫正，系统的切分精度逐步得以提高。经过封闭试验，在多遍切分之后，全切分-评价算法的精度可以达到99%左右。
3、清华大学SEGTAG系统
此系统着眼于将各种各类的信息进行综合，以便最大限度地利用这些信息提高切分精度。系统使用有向图来集成各种各样的信息，这些信息包括切分标志、预切分模式、其他切分单位。为了实现有限的全切分，系统对词典中的每一个重要的词都加上了切分标志，即标志“ck”或“qk”。“qk”标志表示该词可进行绝对切分，不必理会它是否产生切分歧义；“ck”标志表示该词有组合歧义，系统将对其进行全切分，即保留其所有可能的切分方式。系统通过这两种标志并使用几条规则以实现有限的全切分，限制过多的切分和没有必要的搜索。规则包括：
1、无条件切出qk类词；
2、完全切分ck类词（保留各个子串）；
3、对没有标记(qk或ck)的词，若它与别的词之间存在交叉歧义，则作全切分；
否则将其切出。
为了获得切分结果，系统采用在有向图DAG上搜索最佳路径的方法，使用一个评价函数EVALUATE(Path)，求此评价函数的极大值而获得最佳路径Pmax。所运用的搜索算法有两种，即“动态规划”和“全切分搜索+叶子评价”，使用了词频、词类频度、词类共现频度等统计信息。通过实验，该系统的切分精度基本上可达到99%左右，能够处理未登录词比较密集的文本,切分速度约为30字/秒。
4、国家语委文字所应用句法分析技术的汉语自动分词
此分词模型考虑了句法分析在自动分词系统中的作用，以更好地解决切分歧义。切词过程考虑到了所有的切分可能，并运用汉语句法等信息从各种切分可能中选择出合理的切分结果。其过程由两步构成：一、对输入字串进行处理，得到一个所有可能的切分字串的集合，即进行（不受限的）全切分；二、利用句法分析从全切分集合中将某些词选出来，由它们构成合理的词序列，还原为原输入字串。系统使用一个自由传播式句法分析网络，用短语文法描述句法规则，并将其表示为层次化网络图，通过此网络的信息传递过程来进行选词。网络的节点分为词类节点（终结符节点）和规则类节点（非终结符节点）。词类节点保存词的信息；规则类节点对信息进行合并和句法、语义分析，生成新的信息，并将本节点的信息传递出去（也就是用文法产生式进行归约，并进行属性计算—作者注）。网络运行的初态是所有节点状态为NO，各种可能切分的字串进入响应相应的词类节点（终结符节点），然后开始运用文法进行计算。当网络的最高层节点S（文法起始符号）达到稳定状态OK时,计算结束，在最高节点处输出最后的切分结果。
从一般的角度来看，应用句法分析技术进行切词的方法是一种“生成—测试“方法，它是一种常用的AI问题求解方法，包括两个步骤：生成步—找出所有可能的解（假设）；测试步—对各个假设进行检验，找出合格者。在应用句法分析进行切词时，其测试步是使用汉语的句法规则检验某种切分结果是否构成合法的汉语句子。这样可以将句法分析理论的各种成果用于切词之中，有多种句法分析技术可以应用，常见的是ATN分析、CYK分析(Chart Parsing)、G-LR分析等。可以将这种方法称做“切词-句法分析一体化”方法。随着软硬件水平的不断提高，直接运用时空消耗比较大的句法分析来检查分词结果的方法正在日益显现其优越性。
5、复旦分词系统
此系统由四个模块构成。一、预处理模块，利用特殊的标记将输入的文本分割成较短的汉字串，这些标记包括标点符号、数字、字母等非汉字符，还包括文本中常见的一些字体、字号等排版信息。一些特殊的数词短语、时间短语、货币表示等，由于其结构相对简单，即由数词和特征字构成构成，也在本阶段进行处理。为此系统特别增加一次独立的扫描过程来识别这些短语，系统维护一张特征词表，在扫描到特征字以后，即调用这些短语的识别模块，确定这些短语的左、右边界，然后将其完整地切分开；二、歧义识别模块，使用正向最小匹配和逆向最大匹配对文本进行双向扫描，如果两种扫描结果相同，则认为切分正确，否则就判别其为歧义字段，需要进行歧义处理；三、歧义字段处理模块，此模块使用构词规则和词频统计信息来进行排歧。构词规则包括前缀、后缀、重叠词等构词情况，以及成语、量词、单字动词切分优先等规则。在使用规则无效的情况下，使用了词频信息，系统取词频的乘积最大的词串作为最后切分结果；最后，此系统还包括一个未登录词识别模块，以解决未登录词造成的分词错误。未登录词和歧义字段构成了降低分词准确率的两大因素，而未登录词造成的切分错误比歧义字段更为严重，实际上绝大多数分词错误都是由未登录词造成的。系统对中文姓氏进行了自动识别，它利用了中文姓名的用字规律、频率，以及姓名的上下文等信息。通过对十万以上的中文姓名进行抽样综合统计，建立了姓氏频率表和名字用字频率表，由此可获得任意相邻的二、三个单字构成姓氏的概率大小和某些规律，再利用这些字串周围的一些称谓、指界动词和特定模式等具有指示意义的上下文信息，可对字串是否构成姓名进行辨别。实验过程中，对中文姓氏的自动辨别达到了70%的准确率。系统对文本中的地名和领域专有词汇也进行了一定的识别。
6、哈工大统计分词系统
该系统是一种典型的运用统计方法的纯切词系统，它试图将串频统计和词匹配结合起来。系统由三个部分构成：一、预处理模块，利用显式和隐式的切分标记（标点符号、数字、ASCII字符以及出现频率高、构词能力差的单字词、数词+单字常用量词模式）将待分析的文本切分成短的汉字串，这大大地减少了需要统计的（无效）字串的数量和高频单字或量词边界串；二、串频统计模块，此模块计算各个已分开的短汉字串中所有长度大于１的子串在局部上下文中出现的次数，并根据串频和串长对每个这样的子串进行加权，加权函数为 （F为串频，L为串长，即串中汉字个数）。根据经验，局部上下文中取为200字左右。局部上下文的串频计算使用一个滑动窗口（为一个队列式缓冲区，保存当前待切分汉字串及其前后20个短串），当当前待切分汉字串处理完之后，窗口下移一个短串（中心变为相邻下一个短串）。系统采用一个外散列表来记录窗口中的短串，以加快窗口中串频计数。散列函数取为汉字的GB-80位码（二级汉字共用入口95），每个桶中保存窗口中每一行（短串）上的汉字位置：（短串的行号，汉字列号），并且对于在窗口中出现多次的汉字位置用一个链指针连接起来，则计算某个字串在窗口中出现的频度时，不必将该字串与窗口中的短串逐个匹配，而只需统计在该字串中的各个汉字所对应的位置链表中能够相邻的位置的序列的个数即可。此外，还需要根据词缀集（前、后缀集合）对字串的权值进行提升，例如“处理器”中“处理”的权值很高，但由于对“处理器”的权值作了提升（达到或超过了“处理”），就不会切成“处理/器”。如果某个汉字串的权值超过某一阈值D（取为40），则将此汉字串作为一个新识别的词，将其存入一临时词库中；三、切分模块，首先用临时词库对每个短的汉字串进行切分，使用的是逐词遍历算法，再利用一个小型的常用词词典对汉字短串中未切分的子串进行正向最大匹配分词。对于短汉字串中那些仍未切分的子串，则将所有相邻单字作为一个权值很低的生词（例如“玛”、“莉”）。其中每个模块都对待分析的文本进行了一次扫描，因而是三遍扫描方法。此系统能够利用上下文识别大部分生词，解决一部分切分歧义，但是统计分词方法对常用词识别精度差的固有缺点仍然存在（例如切出“由/来”、“语/用”、“对/联”等）。经测试，此系统的分词错误率为1.5%，速度为236字/秒。
7、杭州大学改进的MM分词系统
考虑到汉语的歧义切分字段出现的平均最大概率为1/110，因而机械分词的精度在理论上能够达到1-1/100=99.1%。那么是否还有更一般、精度更高的机械分词系统呢？根据统计，汉语的局部（词法一级）歧义字段占了全部歧义的84%，句法歧义占10%，如果提高系统处理这两类歧义的准确率，则可以大幅度提高切分精度。这方面的改进导致了改进的MM分词算法。将其阐述如下。
通过对交叉歧义字段的考察，发现其中80%以上可以通过运用一条无需任何语言知识的“归右原则”（交叉歧义字段优先与其右边的字段成词）就可以获得正确切分，——这是因为在多数情况下汉语的修饰语在前、中心词在后，因而“归右”好于“归左”。 “归右原则”可以使机械分词的精度上升到99.70%。这种考察给出了鼓舞人心的结果，有可能使机械分词系统达到这样的理论精度。
不过“归右原则”还有需要修正的地方，既对于“连续型交叉歧义”会发生错误，需要补充一条“左部结合”原则：若ABCDE为连续型交叉歧义字段，“归右原则”产生切分A B C DE；再由“左结合原则”（合并最左边的A、B）而得到AB C DE。例如“结合成分子”—>“结 合 成 分子”—>“结合 成 分子”。
但是仍然还有例外，例如“当结合成分子时”—>“当 结合 成分 子时”；为此引入“跳跃匹配”，在词典中定义“非连续词”（实际上为串模式—作者注）“当*时”，然后在切分时首先分出“当 结合成分子 时”，然后再用“归右+左结合”切分中间的歧义字段。以上3项技术将机械分词的理论切分精度提高到了99.73%。
《现代汉语语法信息词典》的开发与应用
汉语分词在中文软件中的广泛应用