admin

采集器多线程采集设置

很多人想快速采集,想开多线程!

这里教大家一个方法,对一个站开两个线程,一个线程采集全部小说,另一个线程采集更新小说。

  1. 修改run.ini,添加下面两条,第一条默认是采集更新列表的,第二条是指定小说编号,现在的设置是从1到66542,可以根据自己的想法设置

    -rule hk020.com.xml -ca

    -rule hk020.com.xml -c 1-66542

  2. 修改start.sh(windows是start.bat)

    默认的java -jar spider.jar -ca & 改成 java -jar spider.jar -m &

启动采集器就可以啦,这样就可以最快的从一个网站把数据都抓过来啦!

等把对方站的数据采集的差不多了,就可以把-rule hk020.com.xml -c 1-66542 去掉啦,用更新列表就可以啦!



另外如果要采集多个站的话,就在run.ini再加几条规则就可以啦

#1楼
发帖时间:2016-11-7   |   查看数:0   |   回复数:4
q1997056
问下管理员   易读小说程序可以离线举报章节错误吗,就是不注册章节报错    如果没有可以考虑添加吗
2016-11-7 #2楼
admin
引用 q1997056:

问下管理员   易读小说程序可以离线举报章节错误吗,就是不注册章节报错    如果没有可以考虑添加吗

需要这个功能倒是可以改

2016-11-9 #3楼
星空
学习了
2016-11-28 #4楼
luyou
马克
2016-12-19 #5楼
游客组