2)、表示目录时,忘记了斜杠/ 错误的写法 User-agent: Baiduspider Disallow: css 正确的写法 User-agent: Baiduspider Disallow: /css/ 6、robots meta网页标签写法 Robots META标签则主要是针对一个个具体的页面...
robots
robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛)此网站中的哪些内容可以被获取。