做企业网站的,明年做哪些网站致富,如何看那个网站是那个公司做的,知名软装设计公司之前是使用12台机分布式搜索#xff0c;1台为主机做索引并分发给子机#xff0c;8台做大索引搜索服务#xff0c;3 台做小索引搜索服务#xff0c;配置基本是内存在4-8G#xff0c;cpu:2-8core的服务器#xff0c;索引的大小为8G。搜索的响应时间 是150ms左右。#xff…之前是使用12台机分布式搜索1台为主机做索引并分发给子机8台做大索引搜索服务3 台做小索引搜索服务配置基本是内存在4-8Gcpu:2-8core的服务器索引的大小为8G。搜索的响应时间 是150ms左右。使用solr架构的搜索服务 在一次技术群中中听到一位sina的架构师他们是采用基于lucene做的搜索服务,索引在20多G数据量差不多是在亿的级别上PV量在500万/天左右高峰时期500个并发量/s采用的是增量索引 读写索引都在同一台机上。他们并没有采用分布式而是采用单机提供服务主要是在配置上内存提高 到32-64G再加cpu:32个core. 到底他们在架构上采取了什么样的优化并不得而知。但从中可以得知采取大内存的处理比使用硬盘的快1000倍左右。所以我们也测试 了一下采用大内存的设计。使用的机器配置是32G4个core CPU。 使用的搜索服务是用solr搭建的主要修改它的索引目录位置将索引目录设置为内存在linux中可以将内存映射为硬盘然后关掉了其它8台大索引的服务即是将主要的搜索服务都分给新配置的机器。测试了几天它的性能果真是好很多。平均响应时间是30ms。在取文档的时间上几乎为0ms,主要消耗的时间在计算跟排序上由于排序时用了六个索引字段动态计算bf分数这里才是费了最多时间的。而这里其实也可以优化的即在建索引的时候就先计算好每个文档的bf分数有时间再做优化。相信可以提高到10ms左右的响应时间 。 solr的本身设计也是多线程高峰的时候有几十条线程并发负载到了4左右现在单机的瓶颈在CPU上如果cpu再高些基本上就可以安稳地顶起高峰时期或者再多台同样配置的机器负载。 现在的索引只有8G,如果到了20G一亿左右的数据量的话不知道会怎么样请拭目以待。转载于:https://www.cnblogs.com/cuihongyu3503319/p/9473416.html
