阿里云从哪里建设网站,公司手机网站建设公司,网站建设总体目标,自贡跨省特大虚假广告案今天要分享的是关于lucene中另外一种丰富的查询方式----正则查询#xff0c;lucene内置了许多的查询API#xff0c;以及更强大的自定义查询方式的QueryParse#xff0c;大部分情况下我们使用内置的查询API#xff0c;基本上就可以满足我们的需求了#xff0c;但是如果你想…今天要分享的是关于lucene中另外一种丰富的查询方式----正则查询lucene内置了许多的查询API以及更强大的自定义查询方式的QueryParse大部分情况下我们使用内置的查询API基本上就可以满足我们的需求了但是如果你想更灵活的定制自己的查询或者改写自己的查询API那么你完全可以继承QueryParse类来完成这项工作。 从某种方式上来说正则查询RegexpQuery跟通配符查询WildcardQuery的功能很相似因为他们都可以完成一样的工作但是不同的是正则查询支持更灵活定制细化查询这一点与通配符的泛化是不一样的而且正则查询天生支持使用强大的正则表达式的来准确匹配一个或几个term需要注意的是使用正则查询的字段最好是不分词的因为分词的字段可能会导致边界问题从而使查询失败得不到任何结果这一点和WildcardQuery效果是一样的。 下面先来看一下散仙的测试数据为了看出分词与不分词给查询造成的影响散仙的用同样的内容做测试分词工具使用的是IK的分词器截图如下
在上图中散仙使用2个字段存储一样的内容一个是分过词的一个没分过词的下面给出使用正则查询的核心代码
RegexpQuery querynew RegexpQuery(new Term(field, .*searchStr.*));// System.out.println(query.toString());TopDocs ssearch.search(query,null, 100);// TopDocs ssearch.search(bool,null, 100);System.out.println(s.totalHits);for(ScoreDoc ss:s.scoreDocs){Document docssearch.doc(ss.doc);System.out.println(iddocs.get(id) namedocs.get(bookName) authordocs.get(author));// System.out.println(docs.get(field));}
下面我们先来测对不分词的字段的做模糊查询测试的代码如下 dao.testRegQuery(bookName,并发);
结果如下
命中数据 :2
id2 name并发数据挑战面临巨大的挑战 author并发数据挑战面临巨大的挑战
id4 name我们的并发数量并秦东亮在不不是很大 author我们的并发数量并秦东亮在不不是很大
我们发现它很出色完成了模糊的查询并且耗时比通配符查询同样的查询条件的耗时要少下面我们对分词的字段进行检索测试代码如下 dao.testRegQuery(author,并发);
结果如下 命中数据 :3
id2 name并发数据挑战面临巨大的挑战 author并发数据挑战面临巨大的挑战
id3 namethe food is perfect! author我们的并发数量并不是很大
id4 name我们的并发数量并秦东亮在不不是很大 author我们的并发数量并秦东亮在不不是很大
我们发现对分词字段的模糊匹配也同样没问题下面我们来测下对分词字段的边界查询。代码如下 dao.testRegQuery(bookName,e q);dao.testRegQuery(bookName,量并);System.out.println(对比界限);dao.testRegQuery(author,e q);dao.testRegQuery(author,量并);
结果如下
命中数据 :1
id1 namethe quick brown fox jumps over the lazy dog authorthe quick brown fox jumps over the lazy dog
命中数据 :1
id4 name我们的并发数量并秦东亮在不不是很大 author我们的并发数量并秦东亮在不不是很大
对比界限
命中数据 :0
命中数据 :0
由以上结果我们可以发现分词后的字段如果在某个字之间被切分成两个term那么无论你用什么样的方式模糊这两个term边界之间的数据都查询不到任何结果而不分词的字段却能查出来这是因为不分词的字段都是作为一个单独的term来处理的来lucene的内部匹配方式恰恰又是以term作为最小检索单位的故能检索到结果这一点需要我们格外注意在实现我们的业务时要根据自己的场景来设计出最优的分词策略。
下面散仙要测的是正则查询的老本行了使用正则表达式进行查询代码如下 dao.testRegQuery(bookName,[fb]ox);//利用正则式检索
结果如下:
命中数据 :2
id1 namethe quick brown fox jumps over the lazy dog authorthe quick brown fox jumps over the lazy dog
id5 namelog is small box authorlog is small box
我们发现含有foxbox的两条数据都被正确的检索出来了其实检索的条件在匹配时会被分解成4个条件分别是foxfoboxbo只要含有这几个term的数据都会被检索出来而这一点恰恰省去了我们在使用其他的查询时使用OR或者AND进行拼接的繁琐也可以简化成所谓的SQL里面的IN查询当然使用正则表达式查询方式可以有很多种在这里只是简单的举了个例子有兴趣的朋友们可以自己测测。 最后在总结一下1如果是在不分词的字段里做模糊检索优先使用正则查询的方式会比其他的模糊方式性能要快。2在查询的时候应该注意分词字段的边界问题。3在使用OR或AND拼接条件查询时或一些特别复杂的匹配时也应优先使用正则查询。4大数据检索时性能尤为重要注意应避免使用前置模糊的方式无论是正则查询还是通配符查询。
