前言
Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。
环境准备
VMware,centos7.3, XShell5,Xftp5
安装部署
Solr安装部署
Solr 需要 Java 环境和Tomcat,可参考另两篇博文 【Linux开发环境搭建】之Java安装、【Linux开发环境搭建】之Tomcat安装 (在 /usr/local/ 目录下新建一个 solr目录,mkdir solr, 把 tomcat 安装在 solr 目录下)
1.从官网:http://lucene.apache.org/solr/ 下载 Solr,用 Xftp 传输到 Linux
2.解压 Solr
[root@localhost ~]# tar -zxvf solr-4.10.3.tgz.tgz
3.cd 进入到 solr 的webapp目录,把 solr.war 复制到tomcat的webapp目录中,启动tomcat,解压 war。
4.复制 solr-4.10.3/example/lib/ext目录下的所有的jar包,添加到solr工程中。
5.在 /usr/local/solr 中创建一个 solrhome 目录,solr-4.10.3/example/solr目录就是一个solrhome。复制此目录到/usr/local/solr/solrhome
[root@localhost example]# cp -r solr /usr/local/solr/solrhome
6.关联 solr 及 solrhome,需要修改 solr 工程的 web.xml 文件
[root@localhost ~]# vim /usr/local/solr/apache-tomcat-7.0.47/webapps/solr/WEB-INF/web.xml
7.启动 Tomcat,访问http://192.168.25.128:8080/solr
Solr 集群安装部署
SolrCloud
先来了解一下 SolrCloud(Solr云),是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用可以 SolrCloud。当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。
SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。
Zookeeper的几个特色功能:
- 集中式的配置信息(数据库连接池的配置)
- 自动容错
- 近实时搜索
- 查询时自动负载均衡
Solr 集群的系统架构图
物理结构
三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。
逻辑结构
索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。
用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。
Zookeeper作为集群的管理工具。
1、集群管理:容错、负载均衡。
2、配置文件的集中管理
3、集群的入口
需要实现zookeeper 高可用。需要搭建集群。建议是奇数节点。需要三个zookeeper服务器。
搭建solr集群需要7台服务器。
zookeeper有自己的投票机制,类似于redis. 需要半数以上的节点判断其他的节点挂掉,才能算挂掉。
搭建伪分布式:
需要三个zookeeper节点
需要四个tomcat节点。
建议配置虚拟机的内存为1G以上。
zookeeper 集群搭建步骤
1.下载 zookeeper,https://zookeeper.apache.org/releases.html,传输到 Linux上,,并解压缩
2.把 zookeeper 复制三份
[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03
3.在每个zookeeper目录下创建一个data目录。
4.在data目录下创建一个myid文件,文件名就叫做“myid”。内容就是每个实例的id。例如1、2、3
[root@localhost data]# echo 1 >> myid
[root@localhost data]# cat myid
1
5.改配置文件。把每一个zookeeper下的conf目录下的zoo_sample.cfg文件改名为zoo.cfg
在zookeeper01目录下的配置如下:(注意:配置的端口都不能冲突) 同理在zookeeper02、03下配置,注意端口不能冲突。
server.1=192.168.25.154:2881:3881
server.2=192.168.25.154:2882:3882
server.3=192.168.25.154:2883:3883
6.启动每个zookeeper实例。
a) 创建启动实例的批处理文件:在solr-cloud下创建,命令如下
[root@localhost solr-cloud]# vim zookeeper_start_all.sh
b) 使用vim 编辑内容如下
cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh start
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh start
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh start
按 ESC,输入 :wq 保存退出.
修改执行权限
[root@localhost solr-cloud]# chmod u+x zookeeper_start_all.sh
c) 启动所有zookeeper实例
[root@localhost solr-cloud]# ./zookeeper_start_all.sh
查看zookeeper的状态:
[root@localhost solr-cloud]# zookeeper01/bin/zkServer.sh status
Solr 集群搭建步骤
1.创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480
2.部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。
3.为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。
4.需要修改solr的web.xml文件。把solrhome关联起来,参考前面单机配置
5.配置solrCloud相关的配置。每个solrhome下都有一个solr.xml,把其中的ip及端口号配置好。
6.让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可。(需要保证zookeeper集群是启动的状态)
使用工具上传配置文件:/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh
./zkcli.sh -zkhost 192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf
查看zookeeper上的配置文件:
使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件:
注意点(如果不是默认的端口2181,要连接使用命令:
./zkCli.sh -server 192.168.25.154:2181)
解释:
-server :指定ip地址
:2181 :指定连接的端口。
[root@localhost bin]# ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[configs, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /configs
[myconf]
[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf
[admin-extra.menu-top.html, currency.xml, protwords.txt, mapping-FoldToASCII.txt, _schema_analysis_synonyms_english.json, _rest_managed.json, solrconfig.xml, _schema_analysis_stopwords_english.json, stopwords.txt, lang, spellings.txt, mapping-ISOLatin1Accent.txt, admin-extra.html, xslt, synonyms.txt, scripts.conf, update-script.js, velocity, elevate.xml, admin-extra.menu-bottom.html, clustering, schema.xml]
[zk: localhost:2181(CONNECTED) 3]
#退出:
[zk: localhost:2181(CONNECTED) 3] quit
7.修改(4个)每一个tomcat/bin目录下的catalina.sh 文件,关联solr和zookeeper。
把此配置添加到配置文件中:
JAVA_OPTS="-DzkHost=192.168.25.128:2181,192.168.25.128:2182,192.168.25.128:2183"
8.启动每个tomcat实例。要保证zookeeper集群是启动状态。
创建启动实例的批处理文件
[root@localhost solr-cloud]# vim tomcat_start_all.sh
输入以下内容,保存。
cd /usr/local/solr-cloud/tomcat01/bin
./startup.sh
cd /usr/local/solr-cloud/tomcat02/bin
./startup.sh
cd /usr/local/solr-cloud/tomcat03/bin
./startup.sh
cd /usr/local/solr-cloud/tomcat04/bin
./startup.sh
设置可执行权限
[root@localhost solr-cloud]# chmod u+x tomcat_start_all.sh
9.访问集群:http://192.168.25.154:8180/solr/,注意更改自己的虚拟机的Ip地址
10.创建新的Collection进行分片处理。
http://192.168.25.154:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
11.删除不用的Collection。
http://192.168.25.154:8180/solr/admin/collections?action=DELETE&name=collection1