在线生成标准的robots.txt文件，精确控制搜索引擎抓取权限
每个路径前需包含"/"，如 /admin/、/api/、/tmp/
放在网站根目录下，通过 http://yoursite.com/robots.txt 可以访问。
Disallow禁止访问，Allow允许访问。Allow优先级高于Disallow。
控制爬虫访问间隔，减轻服务器压力。不是所有搜索引擎都支持。
