发布于 2017-09-06 06:51:06 | 134 次阅读 | 评论: 0 | 来源: 网友投递
jcseg 基于mmseg算法的中文分词器
jcseg是使用Java开发的一个开源的中文分词器，使用流行的mmseg算法实现。是一款独立的分词组建，不是针对lucene而开发，但是提供了最新版本的lucene和solr分词接口。
Jcseg是基于mmseg算法的一个轻量级中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能，并且提供了一个基于Jetty的web服务器，方便各大语言直接http调用，同时提供了最新版本的lucene，solr和elasticsearch的分词接口！
Jcseg 2.2.0更新内容如下：
检索模式SearchSeg增加粒度控制，切分单字，例如：”人民币“切分为”人，民，币，人民，人民币“。
同义词统一解决方案：同义词单独管理，同义词之间自动相互引用，同义词追加和自动合并(REAMD中增加了详细的同义词说明文档)。
单个词条多实体支持，词条的实体可以定义多个，IWord#Entity变为数组。
NLP切分优化，修复datetime,time实体识别和其他部分bug。
词库优化。
关于同义词：
同义词具体格式参考码云项目下的vendors/lexicons/lex-synonyms.lex
在词库的第一行增加CJK_SYN，定义其为同义词词库即可，可以建立多个。
1，基本格式如下：
词根,同义词1[/可选拼音],同义词2[/可选拼音],...同义词n[/可选拼音]
例如：
研究,研讨,研发,研磨/yan mo
2，同义词要求：
01)，第一个词条为词根，这个词条必须是CJK_WORD词库中已有的词条
02)，其他同义词可以不用存在，jcseg会自动将其加入词库，并且词条之间相互引用同义词
03)，同义词会继承词根的词性和实体定义，也会继承本词条的拼音（如果该词条存在），也可以在其后自定义拼音。
该版本已经在自己的NLP平台中稳定运行3个月+，稳定性已经经过压测，NLP需求的重点升级！
最新版本下载地址：
1，大码云：http://git.oschina.net/lionsoul/jcseg/tree/v2.2.0-release
2，github：https://github.com/lionsoul2014/jcseg/releases/tag/v2.2.0-release
3，maven仓库