测试版下载推广小助手视频教程客服中心正式版在线购买
返回列表 发帖

robots.txt是什么?怎么书写?

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件!

当一个搜索蜘蛛<百度、谷歌等>访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面;

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写;

常用的 robots.txt 文件使用两条规则:

  • User-Agent: 适用下列规则的漫游器


  • Disallow: 要拦截的网页

举例子说明:

     User-agent: *       —— <FONT
color=red>意思就是欢迎所有搜索引擎蜘蛛

  Disallow: /admin/ 后台管理文件

  Disallow: /require/ 程序文件


  Disallow: /attachment/ 附件


  Disallow: /images/ 图片

  Disallow: /data/ 数据库文件


  Disallow: /template/ 模板文件


  Disallow: /css/ 样式表文件


  Disallow: /lang/ 编码文件


  Disallow: /script/ 脚本文件 —— <FONT
color=red>意思就是说不希望蜘蛛抓取这些目录

当然 robots.txt文件里还可以直接包括在sitemap的链接:


  Sitemap: http://www.****.com/sitemap.xml'
http://www.****.com/sitemap.xml


设置这些,就是为了勾引蜘蛛,让蜘蛛正确的收录你站页面!!!
QQ: 813538509
免费服务热线:400-629-6665
电话:(0371)65826798

推广小助手对SEO有多大帮助呢?

TOP

呵呵不错

TOP

支持推广小助手

TOP

支持小助手

TOP

支持你们

TOP

呼呼,,,看看。

TOP

怎么有这么多人这样卖弄,要说就说嘛,我受不了

TOP

TOP

回复看看

TOP

了解一下!

TOP

看看``````

TOP

看看`````

TOP

好东西,受教了

TOP

这个不错啊。学习一下

TOP

返回列表