什么是robots?应该怎么写robots规则?

　　我相信当你做好网站的时候，网站的根目录有一个名为robots的文本，有些公司会上传给你，有些则不会，robots.txt的作用是什么?我们该怎么写?下面昆明SEO的小编为大家详细的解答。

　　一、robots.txt文件是什么?

　　什么是robots，你可以理解为搜索引擎蜘蛛爬行的规则，当蜘蛛来到你的网站，它会首先看到robots.txt，它会告诉蜘蛛哪些页面可以爬取，哪些页面被阻止不能被爬取。

　　robots文件一般都有什么作用呢?比如说新站，很多新站是刚上线的，搜索引擎蜘蛛的抓取频率比较有限，所以一定要合理的利用好robots文件，引导蜘蛛爬行和抓取。

　　又比如说有的网站是做了伪静态处理的，那么在上线前最好将动态链接给屏蔽掉，这个时候就要在robots文件里面写Disallow。如果你不屏蔽掉动态网页链接，那么搜索引擎蜘蛛过来抓取的时候发现动态网页和静态网页都是指向一个页面的，页面的排版布局和内容都一样，这就是镜像网页了。这样对seo是有一定的影响的。

　　二、robots.txt怎么写?

　　1、 格式例子：

　　User-agent: *

　　Disallow:

　　User-agent: *：这里的*代表的所有的搜索引擎种类，*是一个通配符，也可以是具体的搜索引擎蜘蛛，如Baiduspider 百度蜘蛛。

　　2.Allow:是代表允许指令，就算不写指令，搜索引擎也是默认抓取，因此允许指令的作用没其他指令大。

　　3.Disallow:该指令代表禁止指令，按网站路径或者某一特性进行限制抓取，一般后面会加上禁止访问页面的路径，作用很大。

　　注意：每一个指令的“:”符号后面，都要空一个空白字符，同时每一个指令前面的第一个英文字母都是大写的，后面跟上小写的，这两点是非常重要的，需要大家注意。

　　三、如何创建robots.txt文件?

　　1.如果网站根目录下没有robots文件，可以新建一个txt纯文本文件，然后命名为“robots.txt”，然后在该文本中编辑相应指令，通过ftp上传到网站根目录即可。

　　2.如果网站本身就有robots文件，则可以下载文件进行修改，然后在上传覆盖即可。注意，robots文件一定要放在根目录下。

　　总之，robots一定要巧妙的运用起来，运用得好的话对网站整体的优化都会有好处的。这里也希望大家能合理的运用好robots文件。