首页 > SEO技术 > 文章内容

网站robots.txt写法技巧

2016-05-04
阅读( 3,659 )次

为了让大家更好理解,所以不再长篇大论,越简单越容易理解!

robots.txt定义:

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

robots.txt的意义:

规范搜索引擎安全协议。

robots.txt三个命令:

User-agent: 指定搜索引擎访问的部分

Disallow:禁止访问

Allow: 允许访问

robots.txt 放置位置:

robots.txt文件应该放置在网站根目录下。

通配符

$ 后缀的URL

* 限制访问范围

 

格式:

User-agent:  用户代理

Disallow:  禁止访问

Allow: /(指定url)

注:冒号后面一定要加个空格,符号为英文状态下的。

案例:

允许所有搜索引擎访问网站的任何部分

User-agent: *

Disallow:

禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

仅允许Baiduspider访问您的网站

User-agent: Baiduspider

Disallow:

网站应该怎么写robots.txt

一般个人网站都是User-agent: * 允许所有蜘蛛访问 Disallow: /admin/ 禁止访问后台文件,根据网站具体情况来写

1、屏蔽用户登录地址。

2、注册地址

3、核心目录的数据。

4、空白页和css

如何查看别人网站得robots.txt

网站robots.txt写法技巧

怎么检查robots文件

检查robots文件书写是否正确,否则写错了屏蔽收录就损失大了。

登录站长平台:

网站robots.txt写法技巧