使用 Solr 为应用提供搜索服务 (5) 数据导入 / 同步 & 运维

阅读 488
收藏 14
2016-10-28
原文链接:www.jianshu.com

Solr提供DIH(Data Import Handler)为我们提供数据的全量、增量导入,它支持的数据源种类很多比如数据库、TXT、JSON、XML等等,本文主要讲解如何从MySQL 数据库导入数据。

数据导入/同步

我们还以Blog这个模型为例,假设数据库同样有该表,有id、title、author、ctime(创建时间)、mtime(修改时间)、isDelete(逻辑删除)等字段。

要使用DIH我们需要下面几个步骤(其中IP 及 数据库配置要以实际的为主,应该不用多说。)

//首先进入solr-5.5.3目录下
//将下面两个JAR包引入
$ cp dist/solr-dataimporthandler-5.5.3.jar server/solr-webapp/webapp/WEB-INF/lib/
$ cp dist/solr-dataimporthandler-extras-5.5.3.jar server/solr-webapp/webapp/WEB-INF/lib/
//既然要使用MySQL当然还要加入com.mysql.jdbc.Driver的Jar包了,Solr 并没有提供,请自行引入server/solr-webapp/webapp/WEB-INF/lib/内。

//修改配置文件solrconfig.xml
//由于使用Solr Client我们的配置文件已被Zookeeper托管,我们需要下载下来,配置完毕后再上传回去,这个步骤必须熟练,因为可能会经常修改配置文件。
// 下面命令-n指定要下载的配置文件名称,-d 指定将配置文件下载到哪里,可以自行决定
$ ./bin/solr zk -downconfig -z 172.16.1.202:2181 -n test-conf -d ~/download/ 
//接着我们需要修改conf/solrconfig.xml,在最下部添加下面这段配置

        
            data-config.xml
        
//接着我们需要在conf/目录下创建data-config.xml文件,内容如下面这段配置


    
    
    
        
        
        
        
        
            
            
            
            
        
    

由于增量导入的需要我们需要添加一个新field mtime,这时我们需要编辑managed-schema文件添加下面一行

我觉得有必要在对data-config内配置作一下讲解,所谓全量导入很简单就是一个查询语句然后DIH将查询结果转换为Document添加入索引。而增量就是根据逻辑删除标识字段,以及更新时间字段来查询出有变化的Row的主键,然后通过deltaImportQuery语句由DIH更新索引。

上传/更新配置文件

$ ./bin/solr zk -upconfig -z 172.16.1.202:2181 -n test-conf -d ~/download/conf

经过这些配置,我们需要将4个节点依次重启,使这些配置生效。

$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node1/solr-home/ -p 8983
$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node2/solr-home/ -p 8984
$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node3/solr-home/ -p 8985
$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node4/solr-home/ -p 8986

好了,配置完成后,我们就可以进行导入了 ,下面是配置完成DIH后的图形界面。


DIH HTML UI

这里有必要再说一遍,Solr 提供基于HTTP REST 的API 所以它的界面使用的是Angular JS 通过调用API来实现的,所以说你可以使用图形界面完成所以操作,如果你愿意,你甚至可以通过浏览器的地址栏拼接参数来完成所有操作,但是,这里还是建议使用shell来进行运维及管理。

//举两个栗子
//全量 $ curl http://172.16.1.202:8983/solr/test-collection/dataimport?command=full-import
//增量$ curl http://172.16.1.202:8983/solr/test-collection/dataimport?delta-import

查看完整详细的DIH API 请点击我

简单的运维

  1. 数据的同步问题,通常使用定时任务来完成。例如,每30分钟执行一次全量shell脚本,每3分钟执行一次增量shell脚本,这只是例子,具体要根据业务、服务器性能各方面来决定。
  2. 增加节点、增加副本等等,这些建议查看官方文档。

关于Solr Cloud的运维由于个人也没有太多经验,所以也不能随便给出具体的建议。不过有一点是确定的,一定要精通Solr 提供的一系列Shell脚本,这是些脚本命令是管理Solr的瑞士军刀。

后言

最后推荐一些我学习Solr过程中对我有帮助的Blog,以供参考,下面这两位博主对Solr和Lucene有不错的见解,也翻译了部分Solr文档,我觉得还不错,可以参考。
my.oschina.net/zengjie/blo…
blog.csdn.net/lzx1104/art…

关于使用一些产品、框架,个人认为最好还是去阅读官方文档,要相信一手的东西永远比二手的好。

至此,关于如何使用Solr的分享就告一段落了。时间仓促,该系列文章难免会出现很多不完善的地方,请大家包含。如果在阅读的过程中发现一些纰漏希望可以告诉我,我会完善她。

评论