robots.txt文件怎么写?robots.txt文件的写法

加入时间:2020-01-14文章来源:帝国网站优化公司

  

  User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符

  Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

  Disallow: /require/   这里定义是禁止爬寻require目录下面的目录

  Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

  Disallow: /ABC 这里定义是禁止爬寻ABC整个目录

  Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

  Disallow: /*?* 禁止访问网站中所有的动态页面

  Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片

  Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件

  User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符

  Allow: /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录

  Allow: /tmp 这里定义是允许爬寻tmp的整个目录

  Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

  Allow: .gif$ 允许抓取网页和gif格式图片

  用法举例:

  1. 允许所有的robot访问

  User-agent: * Allow: / 或者 User-agent: * Disallow:

  2. 禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  3. 仅禁止Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow: /

  4. 仅允许Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow:

  5. 禁止spider访问特定目录

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6. 允许访问特定目录中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  7. 使用”*”限制访问url

  禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8. 使用”$”限制访问url

  仅允许访问以”.htm”为后缀的URL。

  User-agent: *

  Allow: .htm$

  Disallow: /

  例9. 禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  10. 禁止Baiduspider抓取网站上所有图片

  仅允许抓取网页,禁止抓取任何图片。

  User-agent: Baiduspider

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  11. 仅允许Baiduspider抓取网页和.gif格式图片

  允许抓取网页和gif格式图片,不允许抓取其他格式图片

  User-agent: Baiduspider

  Allow: .gif$

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .png$

  Disallow: .bmp$

  12. 仅禁止Baiduspider抓取.jpg格式图片

  User-agent: Baiduspider

  Disallow: .jpg$