用户交流中心 » 搜索引擎研究 » robots.txt是什么?怎么书写?

测试版下载

推广小助手视频教程

正式版在线购买

返回列表发帖

Rank: 16

帖子: 718
精华: 0
金币: 2155
注册推广: 12
阅读权限: 255
来自: 郑州
在线时间: 1597 小时
注册时间: 2009-6-9
最后登录: 2011-8-24

楼主 跳转到 » 倒序看帖

字体大小: tT

小李发表于 2009-6-12 10:09 | 只看该作者

robots.txt是什么?怎么书写?

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件！

当一个搜索蜘蛛<百度、谷歌等>访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面；

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写；

常用的 robots.txt 文件使用两条规则：

　　• User-Agent: 适用下列规则的漫游器

　　• Disallow: 要拦截的网页

举例子说明：

User-agent: * —— <FONT
color=red>意思就是欢迎所有搜索引擎蜘蛛

　　Disallow: /admin/ 后台管理文件

　　Disallow: /require/ 程序文件

　　Disallow: /attachment/ 附件

　　Disallow: /images/ 图片

　　Disallow: /data/ 数据库文件

　　Disallow: /template/ 模板文件

　　Disallow: /css/ 样式表文件

　　Disallow: /lang/ 编码文件

　　Disallow: /script/ 脚本文件 —— <FONT
color=red>意思就是说不希望蜘蛛抓取这些目录

当然 robots.txt文件里还可以直接包括在sitemap的链接：

　　Sitemap: http://www.****.com/sitemap.xml'
http://www.****.com/sitemap.xml

设置这些，就是为了勾引蜘蛛，让蜘蛛正确的收录你站页面！！！

QQ: 813538509
免费服务热线：400-629-6665
电话：(0371)65826798

Rank: 2

帖子: 13
精华: 0
金币: 198
注册推广: 0
阅读权限: 20
在线时间: 1 小时
注册时间: 2009-9-7
最后登录: 2010-8-19

沙发

mjsawrl发表于 2009-9-7 16:40 | 只看该作者

推广小助手对SEO有多大帮助呢？

Rank: 2

帖子: 13
精华: 0
金币: 198
注册推广: 0
阅读权限: 20
在线时间: 1 小时
注册时间: 2009-9-7
最后登录: 2010-8-19

板凳

mjsawrl发表于 2009-9-7 16:41 | 只看该作者

呵呵不错

Rank: 2

帖子: 13
精华: 0
金币: 198
注册推广: 0
阅读权限: 20
在线时间: 1 小时
注册时间: 2009-9-7
最后登录: 2010-8-19

地板

mjsawrl发表于 2009-9-7 16:41 | 只看该作者

支持推广小助手

Rank: 2

帖子: 13
精华: 0
金币: 198
注册推广: 0
阅读权限: 20
在线时间: 1 小时
注册时间: 2009-9-7
最后登录: 2010-8-19

5楼

mjsawrl发表于 2009-9-7 16:41 | 只看该作者

支持小助手

Rank: 2

帖子: 13
精华: 0
金币: 198
注册推广: 0
阅读权限: 20
在线时间: 1 小时
注册时间: 2009-9-7
最后登录: 2010-8-19

6楼

mjsawrl发表于 2009-9-7 16:42 | 只看该作者

支持你们

Rank: 2

帖子: 13
精华: 0
金币: 198
注册推广: 0
阅读权限: 20
在线时间: 1 小时
注册时间: 2009-9-7
最后登录: 2010-8-19

7楼

mjsawrl发表于 2009-9-7 16:46 | 只看该作者

呼呼，，，看看。

正式版用户

Rank: 10

帖子: 29
精华: 0
金币: 187
注册推广: 0
阅读权限: 100
来自: 厦门
在线时间: 7 小时
注册时间: 2009-9-8
最后登录: 2010-9-9

8楼

林子发表于 2009-9-17 22:31 | 只看该作者

怎么有这么多人这样卖弄

，要说就说嘛，我受不了

Rank: 3 Rank: 3

帖子: 51
精华: 0
金币: 283
注册推广: 0
阅读权限: 30
在线时间: 2 小时
注册时间: 2009-10-8
最后登录: 2010-5-21

9楼

jieke110发表于 2009-10-9 16:26 | 只看该作者

www.027wudao.com

Rank: 1

帖子: 1
精华: 0
金币: 2
注册推广: 0
阅读权限: 10
在线时间: 0 小时
注册时间: 2009-11-20
最后登录: 2009-11-20

10楼

女淘时尚网发表于 2009-11-20 20:41 | 只看该作者

回复看看

正式版用户

Rank: 10

帖子: 4
精华: 0
金币: 11
注册推广: 0
阅读权限: 100
在线时间: 3 小时
注册时间: 2010-1-5
最后登录: 2010-2-19

11楼

taozhi8发表于 2010-1-10 00:30 | 只看该作者

了解一下！

正式版用户

Rank: 10

帖子: 7
精华: 0
金币: 26
注册推广: 0
阅读权限: 100
在线时间: 1 小时
注册时间: 2010-4-25
最后登录: 2010-4-30

12楼

weijiehua发表于 2010-4-30 00:59 | 只看该作者

看看``````

正式版用户

Rank: 10

帖子: 7
精华: 0
金币: 26
注册推广: 0
阅读权限: 100
在线时间: 1 小时
注册时间: 2010-4-25
最后登录: 2010-4-30

13楼

weijiehua发表于 2010-4-30 01:00 | 只看该作者

看看`````

Rank: 1

帖子: 14
精华: 0
金币: 0
注册推广: 0
阅读权限: 10
在线时间: 1 小时
注册时间: 2010-3-13
最后登录: 2010-8-16

14楼

qbd1313发表于 2010-8-16 10:07 | 只看该作者

好东西，受教了

正式版用户

Rank: 10

帖子: 1363
精华: 0
金币: 735
注册推广: 0
阅读权限: 100
在线时间: 136 小时
注册时间: 2009-9-4
最后登录: 2011-11-10

活跃会员

15楼

qq9768773发表于 2010-9-12 11:00 | 只看该作者

这个不错啊。学习一下