昆明SEO > 新闻资讯 > SEO优化 > 什么是robots?应该怎么写robots规则?

什么是robots?应该怎么写robots规则?

分类:SEO优化作者:小邱 发布时间:2019-12-25 14:46:28访问人数:
本文标签: robots文件

  我相信当你做好网站的时候,网站的根目录有一个名为robots的文本,有些公司会上传给你,有些则不会,robots.txt的作用是什么?我们该怎么写?下面昆明SEO的小编为大家详细的解答。

  一、robots.txt文件是什么?

  什么是robots,你可以理解为搜索引擎蜘蛛爬行的规则,当蜘蛛来到你的网站,它会首先看到robots.txt,它会告诉蜘蛛哪些页面可以爬取,哪些页面被阻止不能被爬取。

  robots文件一般都有什么作用呢?比如说新站,很多新站是刚上线的,搜索引擎蜘蛛的抓取频率比较有限,所以一定要合理的利用好robots文件,引导蜘蛛爬行和抓取。

  又比如说有的网站是做了伪静态处理的,那么在上线前最好将动态链接给屏蔽掉,这个时候就要在robots文件里面写Disallow。如果你不屏蔽掉动态网页链接,那么搜索引擎蜘蛛过来抓取的时候发现动态网页和静态网页都是指向一个页面的,页面的排版布局和内容都一样,这就是镜像网页了。这样对seo是有一定的影响的。

什么是robots?应该怎么写robots规则?

  二、robots.txt怎么写?

  1、 格式例子:

  User-agent: *

  Disallow:

  User-agent: *:这里的*代表的所有的搜索引擎种类,*是一个通配符,也可以是具体的搜索引擎蜘蛛,如Baiduspider 百度蜘蛛。

  2.Allow:是代表允许指令,就算不写指令,搜索引擎也是默认抓取,因此允许指令的作用没其他指令大。

  3.Disallow:该指令代表禁止指令,按网站路径或者某一特性进行限制抓取,一般后面会加上禁止访问页面的路径,作用很大。

  注意:每一个指令的“:”符号后面,都要空一个空白字符,同时每一个指令前面的第一个英文字母都是大写的,后面跟上小写的,这两点是非常重要的,需要大家注意。

  三、如何创建robots.txt文件?

  1.如果网站根目录下没有robots文件,可以新建一个txt纯文本文件,然后命名为“robots.txt”,然后在该文本中编辑相应指令,通过ftp上传到网站根目录即可。

  2.如果网站本身就有robots文件,则可以下载文件进行修改,然后在上传覆盖即可。注意,robots文件一定要放在根目录下。

  总之,robots一定要巧妙的运用起来,运用得好的话对网站整体的优化都会有好处的。这里也希望大家能合理的运用好robots文件。

  • 项目经理.png

    扫描添加

    项目经理微信

    享受专业顾问服务

  • 微信公众号.jpg

    关注公众号

    获取更多专业资讯

  • 已赞(0)
    分享:

    版权:【注明为本站原创的文章,转载请注明出处与原文地址!本站部分转载文章能找到原作者的我们都会注明,若文章涉及版权请发至邮箱:[email protected],我们以便及时处理,可支付稿费。向本站投稿或需要本站向贵司网站定期免费投稿请加QQ:1175062249】 更多信息请关注微信:1175062249

    本文关键词:robots文件
    阿里云服务器
    SEO按天计费
    域名注册
    网站建设
    君创网络启动新征程

    Copyright © 2013-2020 昆明君创网络科技有限公司 版权所有 滇ICP备19009793号-1

  • QQ
  • 电话
  • 首页
  • 留言
  • 返回顶部