PHP程序员站--PHP编程开发平台
 当前位置:主页 >> 数据库 >> MySQL >> 

MySQL的中文全文索引,二元分词

MySQL的中文全文索引,二元分词

来源:  作者:  发布时间:2007-12-27
这只是个缓军之计,更完美的方法,只能等待官方的支
这只是个缓军之计,更完美的方法,只能等待官方的支持或者自己编译带补丁的MySQL
以下方法并非本人原创,原作者为walkerlee
首先,我们来想想MySQL不支持中文索引的关键原因还是中文是双字节的,如果能把中文转换成单字节的字母或数字,那不就可以使用全文索引了吗
基于这个目的,我们首先需要做的就是分词,如果要实现比较完美的分词的话,还是需要安装相应的插件,但我们很多是虚拟主机,根本没有条件来安装,所以只能采取比较原始的分词方法,二元分词法。
所谓二元分词法,就是将一句话从头到尾,两个字两个字地分开,比如:我们的祖国是花园。就可以划分为:我们,们的,的祖,祖国,国是,是花,花园。虽然有点浪费,但至少面面俱到了。
PHP的相应函数
//Monkey's 二元分词
function sp_str($str) {
//所有汉字后添加ASCII的0字符,此法是为了排除特殊中文拆分错误的问题
$str=preg_replace("/[\x80-\xff]{2}/","\\0".chr(0x00),$str);
//拆分的分割符
$search = array(",", "/", "\\", ".", ";", ":", "\"", "!", "~", "`", "^", "(", ")", "?", "-", "\t", "\n", "'", "<", ">", "\r", "\r\n", "$", "&", "%", "#", "@", "+", "=", "{", "}", "[", "]", ":", ")", "(", ".", "。", ",", "!", ";", "“", "”", "‘", "’", "[", "]", "、", "—", " ", "《", "》", "-", "…", "【", "】",);

//替换所有的分割符为空格
$str = str_replace($search,' ',$str);
//用正则匹配半角单个字符或者全角单个字符,存入数组$ar
preg_match_all("/[\x80-\xff]?./",$str,$ar);$ar=$ar[0];
//去掉$ar中ASCII为0字符的项目
for ($i=0;$i<count($ar);$i++) if ($ar[$i]!=chr(0x00)) $ar_new[]=$ar[$i];
$ar=$ar_new;unset($ar_new);$oldsw=0;
 
//把连续的半角存成一个数组下标,或者全角的每2个字符存成一个数组的下标
for ($ar_str='',$i=0;$i<count($ar);$i++) {
 $sw=strlen($ar[$i]);
 if ($i>0 and $sw!=$oldsw) $ar_str.=" ";
 if ($sw==1) $ar_str.=$ar[$i];
 else
 if (strlen($ar[$i+1])==2) $ar_str.=$ar[$i].$ar[$i+1].' ';
 elseif ($oldsw==1 or $oldsw==0) $ar_str.=$ar[$i];
 $oldsw=$sw;
}
//去掉连续的空格
$ar_str=trim(preg_replace("# {1,}#i"," ",$ar_str));//$ar_str = "Monkey s 二元 元分 分词"
//返回拆分后的结果
return explode(' ',$ar_str);
}
接下来,就该考虑如何把分好的词转换成单字节的,可以使用base64,sha1,md5。但有个问题就是转换后的字符有点长,那如何才能缩短字符呢,对了,就是使用区位码,因为区位码短啊,一个中文只占四个字节。
每个中文都有对应的区位码(除了标点符号和特殊符号),这样只要将上面分词的结果通过区位码转换后,然后存储到数据库里,就可以了。
PHP区位码函数
function quweima($str){
 if(preg_match("/^[a-z0-9 ]+$/i",$str)){
 return $str;
 }else{
 $str1 = substr($str,0,2);
 //echo $str1;
 $str_qwm = sprintf("%02d%02d",ord($str[0])-160,ord($str[1])-160);
 $str2 = substr($str,2,4);
 //echo $str2;
 $str_qwm .= sprintf("%02d%02d",ord($str[0])-160,ord($str[1])-160);
 return $str_qwm;
 }
}
这里我加了判断,如果是英文或数字直接返回不做处理


经过这两步处理后,准备工作就基本完成了,下面就是建立数据库
我的数据库结构是这样的
id,title,title_ft(fulltext)
添加数据的时候,title存放标题,ft_title存放处理后的标题,内容应该是像这样的:43557401 54903471 …
$query = "SELECT title, MATCH( title_ft ) AGAINST( '$title_ft' IN BOOLEAN MODE ) AS score
FROM info
WHERE MATCH( title_ft ) AGAINST( '$title_ft' IN BOOLEAN MODE )
ORDER BY score DESC ";
其中 $title_ft是经过两个函数处理后的字符串,用它去匹配title_ft。
Tags: 中文   sql   mysql   索引  
最新文章
推荐阅读
月点击排行榜
PHP程序员站 Copyright © 2007-2010,PHPERZ.COM All Rights Reserved 粤ICP备07503606号