生效的随机模板 |
template |
map[360spider:[zaobao] baiduspider:[zaobao] googlebot:[zaobao] other:[zaobao] sogou:[zaobao]] |
TXT文件路径 |
txtPath |
./app/paracore/txt/ |
限制自定义.txt文件加载数据数量 |
txtLimitNum |
0 |
路径特征列表 |
pathFeatures |
[web ppt paracore list shows] |
搜索引擎特征 |
userAgentPattern |
(?i)Baidu|Sogou|Baiduspider|Yisou|360|360Spider|YisouSpider|Spider|So.com|Sm.cn|Googlebot |
来源站点设置 |
sourceSite |
[google.com baidu.com so.com sogou.com m.has.mobi] |
判断不是爬虫时跳转地址 |
notSEJump |
https://www.zheng888.cn |
仅在爬虫访问时获得链接列表 |
isSEGetLink |
false |
链接列表显示随机关键字 |
showWordOfLink |
title |
链接列表中轮链占比 |
chainProbability |
10% |
数据源名称 |
dataSource |
chinanews |
代理地址和端口 |
proxyUrl |
|
启动软件时是否立即进行采集 |
runAtStartup |
false |
自动采集间隔分钟数 |
intervals |
1440 |
每天01:23:45自动清理数据 |
autoClean |
清理4320分钟前的数据 |