我们在写robots.txt的时候，首先我们需要来了解一下robots.txt。什么是robots.txt文件？robots.txt有什么作用？下面由淘客联盟中国站的小编给大家详细道来。 什么是robots.txt文件 当搜索引擎爬去我们页面时有一种 ...
我们在写robots.txt的时候，首先我们需要来了解一下robots.txt。什么是robots.txt文件？robots.txt有什么作用？下面由淘客联盟中国站的小编给大家详细道来。
什么是robots.txt文件 当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”，蜘蛛在爬去网站页面之前，首先会去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。 robots.txt有什么作用 Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以被抓取（收录），哪些页面不能被抓取。 写robots.txt要注意的问题 1、只有在你的网站包括不希望被搜索引擎收录的内容时，才利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容，切勿创建 robots.txt文件，不要创建一个内容为空的robots.txt文件。这一点通常被人们忽视，实际上创建空的robots.txt文件对搜刮引擎非常不利。 2、如果你不想自己写robots.txt文件，那就请百度站长平台帮你写。登录百度站长平台，有生成robots.txt文件的。 3、robots.txt文件是以纯文本格式存在的txt文件。 5、robots.txt通常在某个分目录中还可以存在，但是要是与顶级目录中的robots.txt有不同，则以顶级目录中robots.txt为准。 6、写robots.txt时要严格根据以下大小写形式来写 7、User-agent: * Disallow: / 这种格式不但仅是阻止抓取页面，更主要的是你的网站被收录了，然后又把robots.txt文件修改成以上格局，那么你的网站将在搜索引擎中被删除，整个地删除。 8、元标志对一样平常的网站来说可有可无，不过你还是得认识： ＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞（不容许抓取该页面，不容许跟着该页面上的链连续续抓取） ＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞（容许抓取该页面，容许跟着该页面上的链连续续抓取） ＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞（容许抓取该页面，不容许跟着该页面上的链连续续抓取） ＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞（不容许抓取该页面，容许跟着该页面上的链连续续抓取） 9、必要删除一些被搜索引擎收录的特定网页，参考 http://www.google.com/support/webmasters/bin/answer.py?answer=35301 目前好像只有Google这么做了。 10、如果你的网站比较简单，那么下面的格式足够你利用的了。要是比较大的话，必要访问这里而又不必要访问那边，阻止这个文件又要容许那个文件，容许访问访问带有“?”标记的特定网页等等，那么你必须结合下面的格式详细研究符合于你网站的robots.txt文件写法。 怎么写robots.txt 1、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面） User-agent: * Disallow: /*?* 2、限定搜索引擎访问某一特定文件后缀形式的网页。 User-agent: * Disallow: /*.后缀形式（如.html、.htm、.php等等） 3、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。 User-agent: * Allow: .后缀形式（如.html、.htm、.php等等）$ Disallow: / 4、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider User-agent: baiduspider Disallow: / 5、阻止搜索擎访问网站特定某一文件格式的文件（注意不是网页） User-agent: * Disallow: /*.（文件格局：如gif、jpg等等）$ 6、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot User-agent: baiduspider Allow: User-agent: googlebot Allow: 7、要是你网站的某个目录不想被搜索引擎收录，写法如下： User-agent: * Disallow: /目录名称1/ Disallow: /目录名称2/ Disallow: /目录名称3/ 过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。 8、容许全部的搜索引擎访问你的网站的任何部门，这是通常的用法。 User-agent: * Disallow: 大概 User-agent: * Allow: / 9、阻止全部搜索引擎访问网站的任何部门，也便是是阻止全部引擎收录你的网站。 User-agent: * Disallow: / 10、容许搜索引擎访问特定目录中的网页 User-agent: * Allow: /目录1/目录2（容许访问目录2中的网页） Allow: /目录3/目录4（容许访问目录4中的网页） Allow: /目录5/目录6（容许访问目录6中的网页） Disallow: /目录1/ Disallow: /目录3/ Disallow: /目录5/ 上面所介绍的都是几种常用的文件格式。详细的写法还要视个人的网站需求来定。 |
