solr定时增量导入mysql数据

2017-10-14

下载 solr-dataimportscheduler-1.1.jar 放到webapps\solr\WEB-INF\lib下

在conf/solrconfig.xml中config标签中添加dataimport对应的requestHandler

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
	<lst name="defaults">
		<str name="config">data-config.xml</str>
	</lst>
</requestHandler>

在conf/下创建data-config.xml 详细看配置里说明

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
<!-- 连接数据库 -->
<dataSource type="JdbcDataSource"
	driver="com.mysql.jdbc.Driver"
	url="jdbc:mysql://localhost:3306/solr"
	user="你的数据库用户名"
	password="密码"/>
<document>
	<!--
		entity name 对应solr管理界面的Entity选择框
		column 数据库中的字段名
		name   要保存的域的域名,域要先在schema.xml定义才能使用,否则报错
		query:查询数据库表符合记录数据
		deltaQuery:增量索引查询主键pid  注意这个只能返回pid字段
		deltaImportQuery:根据pid增量索引查询导入的数据
		dataimporter.last_index_time是dataimport.properties里的(导入过数据后solr自动在conf/生成)
		dih.delta.pid 应该是deltaQuery的结果
		注意:
		数据库要有一个记录更新时间的字段,用来和dataimporter.last_index_time进行判断,用来确定自上次导入数据以后改变的数据,也就是本次增量导入的内容
	 -->
	<entity name="product" query="SELECT pid,name,catalog,catalog_name,price,description,picture FROM products "
	deltaImportQuery="SELECT pid,name,catalog,catalog_name,price,description,picture FROM products where pid='${dih.delta.pid}'"
	deltaQuery="SELECT pid FROM products where update_time > '${dataimporter.last_index_time}'">
		<field column="pid" name="id"/>
		<field column="name" name="product_name"/>
		<field column="catalog" name="product_catalog"/>
		<field column="catalog_name" name="product_catalog_name"/>
		<field column="price" name="product_price"/>
		<field column="description" name="product_description"/>
		<field column="picture" name="product_picture"/>
		<field column="update_time" name="update_time"/>
	</entity>
</document>
</dataConfig>

修改solr的WEB-INF目录下面的web.xml文件,在web-app添加

<listener>
    <listener-class>
        org.apache.solr.handler.dataimport.scheduler.ApplicationListener    
    </listener-class>
</listener>

在collection1的同级创建文件夹conf,新建dataimport.properties文件

#  to sync or not to sync
#  1 - active; anything else - inactive
syncEnabled=1
#  which cores to schedule
#  in a multi-core environment you can decide which cores you want syncronized
#  leave empty or comment it out if using single-core deployment
#  syncCores=game,resource 
   syncCores=collection2 #使用的core实例
#  solr server name or IP address
#  [defaults to localhost if empty]
server=localhost
#  solr server port
#  [defaults to 80 if empty]
port=8080
#  application name/context
#  [defaults to current ServletContextListener's context (app) name]
webapp=solr
#  URL params [mandatory]
#  remainder of URL
params=/dataimport?command=delta-import&clean=true&commit=true  
#  schedule interval
#  number of minutes between two runs
#  [defaults to 30 if empty]
#  增量间隔时间,设置1分钟进行测试
interval=1
#  重做索引的时间间隔，单位分钟，默认7200 5天; 
#  为空,为0,或者注释掉:表示永不重做索引
reBuildIndexInterval=7200
#  重做索引的参数
reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true
#  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；
#  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期
reBuildIndexBeginTime=03:10:00

重启tomcat 每间隔 1分钟将进行增量导入

手动增量导入和全部导入数据在solr管理界面的操作
管理界面运行导入命令