什么是robots文件
整个网站不能收录或某个目录下所有页面都不能收录，经常是因为robots.txt文件出差错起的。网站工具抓取工具权限部分显示出Google所抓取的robots文件内容。 robots文件中的任何一个字母差错都可能造成致命影响。站长应该检查robots文件中的每一行代码正确，不会错误禁止应该被收录的文件或目录。 在编写robots.txt文件之前，首先我们需要了解什么是robots.txt文件。robots.txt文件是指定给搜索引擎spider程序的收录规则。一般情况下搜索引擎spider程序自动访问互联网上的网站时，会首先检查该网站根目录下是否有robots.txt文件，这个文件用于指定spider对网站的抓取范围，如果没有robots.txt文件或robots.txt文件为空则表示允许spider抓取网站上所有内容。
文章源自张俊SEM-https://www.zhangjunsem.com/8065.html
声明：转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。本站部分图文来源于网络，仅供学习交流，发表作品观点仅代表作者本人，本站仅提供信息存储空间服务，不承担连带责任。如有侵权，请及时联系管理员删除。
ynxtwl
加个微信
交个朋友
评论