综合以上思想，就建立了如下改进的MM分词算法：
正向扫描
+ 增字最大匹配（包括“跳跃匹配非连续词”）
+ 词尾歧义检查（逐次去掉首字做MM匹配以发现交叉歧义字段）
+ “归右原则”（ 对于“连续型交叉歧义”还需要“左结合原则”）。
系统的词典采用一级首字索引结构，词条中包括了“非连续词”（形如C1…* Cn）。系统精度的实验结果为95%，低于理论值99.73%，但高于通常的MM、RMM、DMM方法。
8、Microsoft Research 汉语句法分析器中的自动分词
微软研究院的自然语言研究所在从90年代初开始开发了一个通用型的多国语言处理平台NLPWin，最初阶段的研究都是对英语进行的。大约从1997年开始，增加了中文处理的研究，从而使NLPWin成为能够进行7国语言处理的系统（其中日语和韩语部分的研究已较早地开展起来）。中文部分的研究在开始时缺少必要的基础资源，于是经过细致的研究分析之后，购买了北大计算语言所的《现代汉语语法信息词典》，从此进展顺利，在短短的一年半的时间里达到了其它东方语种的处理水平。据报道，NLPWin的语法分析部分使用的是一种双向的Chart Parsing，使用了语法规则并以概率模型作导向，并且将语法和分析器独立开。
其中文部分的一个特点是将词的切分同句法分析融合起来，即是一种前面提到过的“切词—句法分析一体化”方法：在其匹配切词阶段保留所有可能的切分结果（包括歧义切分），然后在句法分析阶段使用汉语的句法规则判断切分的合理性，如果对句子的某种切分能够成功地建立起完全的句法树，则表示该切分结果是正确的。对于有上下文及语用歧义的歧义切分字段，系统将生成两棵以上的分析树（可以使用某种标准进行排序）。
当然，为了提高系统效率，有必要在分词阶段排除尽可能多的局部一级的切分歧义。其中使用的技术有：消除所有导致词典中没有对应词条的单字的切分，为词典中的每一个词条增加一项“Atomic”属性（为1表示不需要分析其内部字串，为0表示需要保留其内部的切分，即是一种组合歧义标志——作者注），以及为每个词增加 LeftCond1、RightCond1、LeftCond2、RightCond2 四类字符集合（前两项表示歧义绝对生效，后两项表示歧义有比较高的可能性生效，即歧义的直接前后文—作者注），还包括一些排歧规则（例如对于连续型歧义字段ABCD，如果AB和CD不与前后词交叉、A或D是名词、ABC和BCD都不是词，则切分出AB/CD：“昨天下午”—>“昨天/下午”）。
实验结果表明，系统可以正确处理85%的歧义切分字段，在Pentium 200 PC上的速度约600-900字/秒。考虑到系统对多种切分结果进行了完全的句法分析、对词典每个属性进行了完全的查找，这是相当可观的效率。
我们的评论是这是汉语处理的一种有效的综合性途径，值得发扬推广；但这种使用“Atomic”属性的方法实际上只是表示了组合型歧义（占不到1/5）的特征，对更普遍的交叉型歧义（超过总歧义的4/5）的处理还存在效率和效果更好的方法。
9、北大计算语言所分词系统
本系统由北京大学计算语言学研究所研制开发，属于分词和词类标注相结合的分词系统。由于将分词和词类标注结合起来，系统可利用丰富的词类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，同时将基于规则的标注排歧与基于语料库统计模型的排歧结合起来，使规则的普遍性与灵活性得到统一，而且对未登入词的估算到达了相当高的准确率。系统的处理过程包括了自动切分和初始词性标记、切分歧义字段识别、组词和标注预处理、词性标记排歧、切分和词性标注后处理等过程，系统的算法综合了多种数据组织和搜索技术，以很低的时空开销实现了高速匹配和查找，同时采用了当代计算语言学的统计方法，运用隐Markov过程进行词类标注和排歧，对算法的效率和稳固性都作了尽可能的优化。此系统的一大特色是对通用性的强调，将最稳定、最常用的4万6千余条现代汉语基本词汇（即将扩充到7万多条）及其有关属性组织成为基本词典，这些词的基本地位都是由汉语语言学家逐一检验认可的，这是本系统通用性的保证；在此词典的基础上充分利用汉语构词法的研究成果，可以识别出大部分的常用词。同时本系统对用户词典机制作了最大限度的扩展，允许用户加入3部到30部以上的自定义词典，并允许用户对这些词典的优先顺序自由排列，这样就可以用较小规模的多个特殊词典更有针对性地解决具体领域的文本处理。因此本系统的语言模型实现了通用性与多样性的有效结合，并到达了极高的效率。经过最近在搜索算法上的改进，系统的分词连同标注的速度在Pentium 133Hz/16MB内存机器上的达到了每秒3千词以上，而在Pentium II/64MB内存机器上速度高达每秒5千词。自本系统开发以来，已先后向国内和国外十多家单位进行了转让，获得了普遍的好评。
在1998年4月进行的863全国智能接口评测会上，该系统有良好的表现。由于系统对待词的兼类问题的理论观点与评测标准有一些差别，所测得的标注准确率没有达到自测试的水平。该系统的词语分类体系一方面承认汉语词存在兼类现象，一方面又不主张扩大兼类现象，尽量把相同语法功能的词类当作是一个词类，而把词的具体语法属性留到后续过程处理。这些观点与评测标准有所不同。国内还有很多单位开发了分词系统，但大部分都没有参加这一具有极强可比性的评测。
10、北大计算语言汉语文本分析系统
在北大计算语言所开发的汉语切词和词类标注系统的基础上，考虑到更大规模真实文本处理的需求以及更深入分析的必要性，作者设计了一个通用性强的汉语文本处理系统。这个系统对汉语句子进行切分、词类标注、专名辨别和标记、短语浅层分析和捆绑、重要成分的过滤与提取等操作。它需要综合运用汉语词汇的词、词类、构词规则、与相邻字段的各个级别上的搭配关系、词类及其相邻者的共现概率等知识，还需要短语的结构、词语浅层合并（捆绑）等规则，因此系统具有比较复杂的知识库结构（其机器词典的讨论请参考“报告2”）。在这里，我们仅对其切词部分所使用的技术特点作一讨论。
在对汉语切分歧义现象的认真研究之中，我们提出了一种非常高效、高准确率的综合性歧义切分处理方法，其要点有：1、把汉语基本词典中所有的歧义词标记出来；2、把所有的歧义字段分为两类：简单歧义字段和复杂歧义字段；3、在切分时，如果匹配出来的词不是歧义词，则可以安全地切分出来；4、当匹配出歧义词时，根据词条的歧义信息（歧义偏移值）判断当前歧义字段的类别：如果是简单歧义，则使用一条非常简单的规则即可全部得解，即优先切出非歧义词；5、如果是复杂歧义字段，则调用一个“侦歧”过程（AmbiDetect），进一步判断歧义字段的类型是“歧义词+歧义词”还是“连续型歧义字段”；考察词条的“歧义触发信息”和“歧义消隐信息”，即可解决所有局部（直接上下文）的歧义；6、通过浅层句法分析及其同步的语义检查（义类代码及配价项的检查），消解句子级歧义。以上前5步可以解决绝大部分局部歧义（根据北京师范大学何克抗等的统计，局部歧义约占所有歧义的94.9%），其中前4步解决了所有简单型歧义（约占歧义的70-80%）。据考察，这是目前国内最好的句子级以内消歧技术之一。
汉语中还有一些歧义是句子-句子之间（非局部上下文）和语用（应用环境）一级的歧义，根据统计，总数约为1.7%。对于这些非局部性歧义，我们保留所有可能的切分结果，留给更高级的后续处理来解决。
四、适用于信息检索与信息提取的分词技术
信息检索是找出包含了指定的一类特征（关键字、检索表达式）的文档、段落或句群供用户阅读的过程。而信息提取则是从一段文本中抽取指定的一类信息（事件、事实）并将其填入一个数据库中供用户查询使用的过程，即信息提取不仅找出文档、段落或句群，而且进一步给出用户感兴趣的事件、事实、消息、数据，或者说它在信息检索之后进行文本的分析和理解。因而用户就不必再阅读所找到的文档、段落或句群以获得所需的信息。
针对于信息检索和提取系统而言，分词技术的主要问题是确定词的颗粒度大小、对专用术语的识别、判别词与词之间的语义关联。下面我们对这几个问题给出我们的意见和建议。
为了适应用户的各种查询，检索系统的词库的分词单位应该较小化。也就是词典中的词条应是汉语中最基本、最稳定的词。
检索系统用户的查询语句具有高度的领域化、专有性和高度的不确定性，即其词语的语法、语义往往是较特殊、不常见和非标准、非通用性的。因此检索系统的词库需要注重术语和专有名词的收录，尽可能把各领域的专用术语收集进来。然而，系统仍然会遇到大量的未登录词，这就要求系统必须具备生词的识别能力。结合了串匹配、构词处理和统计方法取词的分词技术能够较好地适应要求。
解决词间语义关联问题的主要办法是建造一个集成了词的多种信息的机器词典，这些信息详细地描述了词的语法、语义、语用方面的属性和类别，以指导分词、概念（义项）标注、句法和语义分析的正确进行。
综合这些问题，我们认为北京大学计算语言研究所开发的分词系统有可能成为一个较好的适用于信息检索与提取的分词系统。该系统使用的词典是基于“现代汉语语法信息词典”这一具有公认的通用性和可靠性的计算机用词典，具有高效的串匹配和良好的构词法分析，并且已获得了较广泛的应用。系统一直处在完善、发展之中，还将扩充统计词汇获取和义类标注功能，更好地适应于信息检索与提取技术的需要。
附：第二稿补充或改动的内容
1、汉语自动分词的一般模型；
2、北京师范大学自动分词专家系统；
3、清华大学分词标注系统CSegTag；
4、哈工大统计分词系统；
5、杭州大学改进的MM分词系统；
6、自动分词的“生成—测试”方法与语委文字所基于句法分析技术的
汉语自动分词系统；
7、Microsoft Research 汉语句法分析器中的自动分词；
8、北大计算语言所的汉语文本分析系统；
9、参考文献。
《现代汉语语法信息词典》的开发与应用
汉语分词在中文软件中的广泛应用