欢迎光临~宿迁若德信息科技有限公司 网站地图
SEO教程

SEO教程
您的位置:首页> SEO教程

robots协议优化

搜索引擎爬虫在访问网站之前会先对网站robots协议进行访问,来检查网站是否屏蔽了搜索引擎爬虫,有些网站禁止爬虫抓取,比如淘宝网,但是对于企业站来说,我们是不可能禁止爬虫抓取的,如果误操作,一定要及时的更改回来,接下来就介绍如何设置robots。

1.允许所有蜘蛛抓取网页

User-agent: *

Allow: /

或者

User-agent: *

Disallow:

2.禁止某个蜘蛛抓取

User-agent: Baiduspider

Disallow: /

3.禁止抓取某个目录以及该目录下所有内容

Disallow: /admin/

4.禁止抓取动态网页

Disallow: /*?*

5.禁止抓取某个后缀文件,如.jpg

Disallow: /*.jpg$

6.抓取网站地图

Sitemap:http://网站域名/sitemap.xml

7.禁止抓取某个文件

Disallow: /a/b/xx.html

8.禁止抓取某个目录下所有.html文件

Disallow:/a/*.html

在优化网站前期,一定要熟悉robots协议,每个搜索引擎都必须遵循这个协议,一旦设置了屏蔽蜘蛛爬行,我们做的所有工作都将毫无意义。所以在优化整个时期,务必要实时监控该协议。

推荐阅读:域名与空间的选择





联系我们

CONTACT US

联系人:张经理

手机:151 5119 7565

电话:183 6019 0080

邮箱:2935053819@qq.com

地址:宿迁市宿豫区