
MySQL全文索引、支持中文分词
简单介绍
MySQL全文索引是在基于文本的列(char、varchar或text列)上创建的,以提升对这些列中包含的数据的查询和DML操作效率。全文索引被定义为create table语句的一部分,或者使用alter table或create index追加到现有表中。搜索语法为:match(field1,field2,…) against(’keyword‘),更多使用方法及详细信息参考MySQL全文索引官方文档
版本说明
MySQL 5.6 以前的版本,只有 MyISAM 存储引擎支持全文索引
MySQL 5.6 及以后的版本,MyISAM 和 InnoDB 存储引擎均支持全文索引
只有字段的数据类型为 char、varchar、text 及其系列才可以建全文索引
创建全文索引
说明:搜索时,默认对中文类分词支持不友好,如果有中日韩文分词需求,在创建索引时,需要声明该分词插件ngram,语法可选【with parser ngram】
create index方式创建
alter table方式创建
- alter table方式创建
删除全文索引
- drop index方式删除
- alter table方式删除
完整使用语法
提示:match() 函数中指定的列务必与索引中指定的列完全一致,否则将无法使用全文索引,全文索引不会记录关键字来自于哪一列。
发现问题
找不到数据,或者数据不全
从结果看出,只有输入“张三”才匹配到了一条记录,有了解过ElasticSearch、Lucene、Solr、MeiliSearch等搜索中间件的大佬,对这样的结果属实是不满意的,预期的结果应该查出3条记录才正常,导致这种情况其中非常关键的一个原因是MySQL对应执行引擎下全文索引的**【最小搜索长度】**,MySQL 中的全文索引,有两个关键的变量,分别是最小搜索长度和最大搜索长度,对于长度小于最小搜索长度和大于最大搜索长度的词,都不会被索引。换言之,这个词的长度必须在以上两个变量的区间内。
- 通过命令可以查看
可以看到最小搜索长度InnoDB 引擎下默认是3,MyISAM引擎下默认是4,因此MySQL 的全文索引只会对长度大于等于3或者4的词建立索引,而前面基于InnoDB,搜索的只有“jav”和“java”的长度大于等于 3,而基于MyISAM,搜索也只有“java”的长度大于等于4。
解决问题
既然最小搜索长度不满足要求,就需要修改配置,在/etc/my.cnf下的mysqlId中追加内容如下,当然也可以修改最大搜索长度,但没必要
完事儿后重启 MySQL 服务器,并修复全文索引,修复全文索语句如下,不过一般建议删除索引,并重建索引
到这里为止,也依然没有达到最终的效果,搜索关键字“张”时,并没有出现结果集中,因为MySQL的全文索引有自然语言的全文索引和布尔全文索引两种选择:
上面的情况,可以通过布尔满足
数据是可以查出来的。完全实现like效果
匹配度越高的排在最前面
总结
MySQL全文索引起初仅支持英文,因为英文的词与词之间有空格,使用空格作为分词的分隔符是很方便的。亚洲文字,比如汉语、日语、汉语等,是没有空格的,这就造成了一定的限制。不过 MySQL 5.7.6 开始,引入了一个 ngram 全文分析器来解决这个问题,并且对 MyISAM 和 InnoDB 引擎都有效。
事实上,MyISAM 存储引擎对全文索引的支持有很多的限制,例如表级别锁对性能的影响、数据文件的崩溃、崩溃后的恢复等,这使得 MyISAM 的全文索引对于很多的应用场景并不适合。所以,多数情况下的建议是使用别的解决方案,例如MeiliSearch、ElasticSearch等等第三方的插件,亦或是使用InnoDB存储引擎的全文索引。
注意
1、使用全文索引前,明确版本支持情况
2、全文索引比like + %快N倍,但是可能存在精度问题
3、如果需要全文索引的是大量数据,建议先添加数据,再创建索引
4、对于中文,可以使用 MySQL 5.7.6之后的版本,或者第三方插件
下篇讲解java中使用ik分词器对文本进行分词,敬请期待
匹配度越高的排在最前面
文章转载自公众号:IT学习道场
