首页 > 网站seo培训班 > robots.txt写法|robots.txt怎么写

robots.txt写法|robots.txt怎么写

发布-网页培训班 | 浏览量-

国内的搜索引擎蜘蛛

百度蜘蛛:baiduspider

搜狗蜘蛛:sogou spider

有道蜘蛛:YodaoBot和OutfoxBot

搜搜蜘蛛: Sosospider

国外的搜索引擎蜘蛛

google蜘蛛: googlebot

yahoo蜘蛛:Yahoo! Slurp

alexa蜘蛛:ia_archiver

bing蜘蛛(MSN):msnbot

Robots.txt的几个常用英文意思

• User-Agent: 适用下列规则的漫游器

• Allow: 充许被抓取的网页

• Disallow: 要拦截的网页

Robots.txt的两个常用符号

“*”: 匹配0或多个任意字符(或者所有的意思)

“$”:匹配行结束符。

介绍得差不多了,下面来进入正题,Robots.txt:

一、充许所有的蜘蛛抓取:

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

(*号为所有的意思)

二、禁止所有的robot抓取

User-agent: *

Disallow: /

三、禁止某一蜘蛛抓取:

User-agent: 蜘蛛名

Disallow: /

四、只充许某一蜘蛛抓取:

User-agent: 蜘蛛名

Disallow:

User-agent: *

Disallow: /

上半部分是禁止该蜘蛛抓取,下半部分是充许所有,总体意思就是禁止此蜘蛛,充许其它蜘蛛。

五、禁止蜘蛛抓取某些目录

如禁止抓取admin和manage目录

User-agent: *

Disallow: /admin/

Disallow: /manage/

六、禁止蜘蛛特定后缀文件,这个用“*”号

如禁止抓取.htm的文件

User-agent: *

Disallow: *.htm(*号后面然后是点文件名,如.asp,.php)

七、仅充许抓取特定后缀文件,这个用“$”号

如仅充许.htm的文件

User-agent: *

Allow: .htm$

Disallow: /

(图片也可以参考第六条和第七条这个样子)

八、禁止抓取动态网页

User-agent: *

Disallow: /*?*

这个在论坛很有用,一般伪静态后,就不需要搜索引擎再收录其动态地址了。做论坛的朋友们注意了。

九、声明网站地图sitemap

这个告诉搜索引擎你的sitemap在哪

Sitemap: http://你的域名/sitemap.xml

做完这些我们如何检查我们的robots.txt这个文件的有效性呢?推荐使用 Google管理员工具,登录后访问“工具 ->分析 robots.txt”,检查文件有效性。

如何使用robots.txt|robots.txt是什么?

原文地址:http://www.35ui.cn/post/20120408590.html

标签robots.txt怎么写

上一条: php+mysql 程序如何安装|如何连接数据库
下一条: 禁止bing蜘蛛访问

或许你还对下面的文章感兴趣
  • 作品
  • 素材
  • ued
  • 资源
  • 前端工程师
  • Asp网页培训班
  • jquery培训班
  • 北京网站制作
  • logo设计培训班
  • 做网站常用代码