什么是robots协议?网站robots.txt文件的作用

张俊SEM seo优化76字数 877阅读2分55秒阅读模式

当我们制作网站时,一个完整的网站应该有301个重定向、404个页面和robots.txt文件,这些都是制作网站所必需的。有经验的网站管理员知道301重定向是为了集中,404重定向是为了在网站有死链时引导蜘蛛和增加用户体验。

那么网站robots.txt文件的功能是什么,如何编写网站robots.txt文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

robots.txt协议(也称为爬虫协议、爬虫规则、机器人协议等。)文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

robots.txt文件是存储在网站根目录下的TXT文本文档。这是网站和蜘蛛之间的协议。文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

该网站告诉搜索引擎哪些页面可以被抓取,哪些页面不想通过机器人协议被抓取。推荐注意事项(深圳搜索引擎优化培训)文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

robots.txt的角色是什么?文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

如果你的网站根目录中有一个像robots.txt这样的文件,蜘蛛在抓取你的网站时会首先访问这个文件(robots文件通常存储在根目录中,蜘蛛首先访问这个文件,所以这个文件非常重要)。文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

机器人文件用于告诉搜索引擎蜘蛛网站的哪些文件夹可以被检索,哪些文件夹不能被检索,从而确保我们网站的隐私内容不会被包括在内。文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

机器人网站的内容如下:文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

*替换0或任意数量的字符文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

$ End符号,描绘以xxx结尾的文件文章源自张俊SEM-https://www.zhangjunsem.com/25553.html

?动态页面的特别推荐阅读(什么是网站地图)

以下是机器人的书写格式:

每行的第一个字母大写。

必须用英语输入法来写

(注意)在继续写入之前,用户代理“不允许”、“允许”后面跟有英文冒号加空大小写。

每个主要搜索引擎蜘蛛的名字写如下:

1.百度蜘蛛

拜德斯皮德的名字是拜德斯皮德。百度蜘蛛日志中也有百度蜘蛛-手机、百度蜘蛛-图像、百度蜘蛛-视频和百度蜘蛛-新闻。百度蜘蛛和百度蜘蛛图片是百度蜘蛛的两种。

2.谷歌蜘蛛:谷歌机器人,谷歌机器人移动,它的名字是抓取wap内容

3.蜘蛛,这家伙很勤奋

4.索索斯派德:索索斯派德,比360更勤奋

5.雅虎蜘蛛:雅虎!诋毁中国

6.有一只蜘蛛:你的机器人

7.搜狗蜘蛛:搜狗新闻蜘蛛

搜狗蜘蛛还包括以下几种:搜狗蜘蛛、搜狗inst蜘蛛、搜狗搜狗蜘蛛2
博客、搜狗新闻蜘蛛、搜狗蜘蛛等。

8.MSN Spider: msnbot,MSN bot-媒体

9.冰蜘蛛:冰机器人

声明:转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请及时联系管理员删除。

weinxin
ynxtwl
添加微信
微信扫一扫
张俊SEM
  • 本文由 张俊SEM 发表于 2023年8月19日21:31:43
  • 转载请务必保留本文链接:https://www.zhangjunsem.com/25553.html
探索学术宝藏,华夏课题收录网站官网助力科研发展
seo优化

探索学术宝藏,华夏课题收录网站官网助力科研发展

在浩瀚的学术海洋中,科研工作者们不断探索、挖掘,以期在各自的领域取得突破,为了方便广大科研人员查阅相关资料,我国建立了华夏课题收录网站官网,为广大科研人员提供便捷的学术服务,本文将带您深入了解华夏课题...
网站收录*的捷径,揭秘高效SEO策略,助你快速提升网站排名
seo优化

网站收录*的捷径,揭秘高效SEO策略,助你快速提升网站排名

在互联网时代,网站收录对于网站的发展至关重要,一个网站如果无法被搜索引擎收录,那么它就无法在网络上展示自己的存在,更无法吸引潜在客户,如何才能让网站快速被搜索引擎收录呢?本文将为您揭秘网站收录的最佳捷...
艺术类论文收录网站概览,学术资源整合与传播平台
seo优化

艺术类论文收录网站概览,学术资源整合与传播平台

随着我国艺术学科的蓬勃发展,艺术类论文的产出日益丰富,为了方便广大艺术研究者查阅和交流,各类艺术类论文收录网站应运而生,本文将对目前较为知名的几个艺术类论文收录网站进行概览,以期为艺术研究者提供学术资...
黑道小说网站收录排行榜,哪个网站收录黑道小说最多?
seo优化

黑道小说网站收录排行榜,哪个网站收录黑道小说最多?

近年来,随着网络文学的兴起,黑道小说逐渐成为读者喜爱的题材之一,黑道小说以其独特的魅力,吸引了众多读者驻足阅读,在众多的黑道小说网站中,哪个网站收录的黑道小说最多呢?本文将为您揭晓答案。 黑道小说网站...