问题：
百度谷歌搜索爬虫爬些奇怪的东西，news模块早已经关闭搜索功能了。
链接类似这样的
http://m.abc.com/index.php?s=news&c=search&catid=11&keyword=dayruicom
站内应该没有这样的内容
答案：
rebox把蜘蛛屏蔽了就行了
屏蔽蜘蛛的网站不就等于自己hi吗
回复@zhuroufanzi是的
网站没有什么不可以公开的吧
http://www.abc.com/index.php?s=news&c=search&catid=7&keyword=蛛丝马迹
这是谷歌来爬，可我站内没有“keyword=蛛丝马迹”这类东西啊
@唉呦喂：不是不能公开。是这蜘蛛无中生有，我站内没有的