问题：
模块搜索设置集成栏目页后，是否需要禁止爬虫访问栏目页？
因为集成栏目页后，访问栏目页会定向到搜索页面。还看到要尽量屏蔽蜘蛛爬虫访问搜索页面。
所以就有了这个问题。
答案：
过滤防火墙
蜘蛛防火墙过滤，IP防火墙过滤，拦截指定IP，拦截不常用的蜘蛛，不浪费流量
rebox.txt
我知道使用这个方式可以屏蔽，但是不知道这种情况需不需要屏蔽。
回复@帅不过十秒
@卧龙隐者：没人给建议，那就关闭回复吧
模块搜索设置集成栏目页后，是否需要禁止爬虫访问栏目页？
因为集成栏目页后，访问栏目页会定向到搜索页面。还看到要尽量屏蔽蜘蛛爬虫访问搜索页面。
所以就有了这个问题。
过滤防火墙
蜘蛛防火墙过滤，IP防火墙过滤，拦截指定IP，拦截不常用的蜘蛛，不浪费流量
rebox.txt
我知道使用这个方式可以屏蔽，但是不知道这种情况需不需要屏蔽。
回复@帅不过十秒
@卧龙隐者：没人给建议，那就关闭回复吧