chaitin/rad

new_task_filter_config.path_disallowed 配置问题

wujie6166 opened this issue · 0 comments

path_disallowed 这个格式支持正则嘛?我该如何配置 排除掉如 /api/v1/test 这样的路径? 用正则配置好像也不生效

能否提供一个示例

new_task_filter_config:           # 检查某个链接是否应该被加入爬取队列
  hostname_allowed: []            # 允许访问的 Hostname,支持格式如 t.com、*.t.com、1.1.1.1、1.1.1.1/24、1.1-4.1.1-8
  hostname_disallowed: []         # 不允许访问的 Hostname,支持格式如 t.com、*.t.com、1.1.1.1、1.1.1.1/24、1.1-4.1.1-8
  port_allowed: []                # 允许访问的端口, 支持的格式如: 80、80-85
  port_disallowed: []             # 不允许访问的端口, 支持的格式如: 80、80-85
  path_allowed: []                # 允许访问的路径,支持的格式如: test、*test*
  path_disallowed: ['/login']