禁止所有爬虫
修改根目录robots.txt文件
删除所有添加:
User-agent: *
Disallow: /
检测地址:
https://tools.aizhan.com/robots/www.lilysilk.org/