发布于 2016-06-25 14:01:40 | 131 次阅读 | 评论: 0 | 来源: 网友投递
MMSeg 中文分词类库
MMSEG一个基于最大匹配算法的两种变体的中文单词识别系统。是中文分词中一个常见的、基于词典的分词算法，简单、效果相对较好。由于它的简易直观性，实现起来不是很复杂，运行速度也比较快。
这篇文章主要介绍了Python中文分词实现方法,通过安装pymmseg来实现分词功能,涉及pymmseg的下载、解压、安装及使用技巧,需要的朋友可以参考下
本文实例讲述了Python中文分词实现方法。分享给大家供大家参考，具体如下：
在Python这pymmseg-cpp 还是十分方便的！
环境 ubuntu10.04 , python2.65
步骤:
1 下载mmseg-cpp的源代码 http://code.google.com/p/pymmseg-cpp/
2 执行：
tar -zxf pymmseg-cpp*.tar.gz //解压后得到pymmseg 目录
cd pymmseg\mmseg-cpp
python build.py #生成 mmseg.so文件
3 将 pymmseg 目录复制到 /usr/local/lib/python2.6/dist-packages 中
4 测试有没有成功:
test.py文件：
from pymmseg import mmseg
mmseg.dict_load_defaults()
text = '今天的天气真好啊，我们一起出去玩一下吧'
algor = mmseg.Algorithm(text)
for tok in algor:
print '%s [%d..%d]' % (tok.text, tok.start, tok.end)