测试版下载推广小助手视频教程客服中心正式版在线购买
12
返回列表 发帖

Rank: 10Rank: 10Rank: 10

帖子
4 
精华
0 
金币
17  
注册推广
0  
阅读权限
100 
在线时间
0 小时 
注册时间
2010-9-17 
最后登录
2012-5-14 
16楼 跳转到 »
liyiweb发表于 2010-9-17 09:20 | 只看该作者
支持下 ！！！！！！！！！！

TOP

Rank: 1

帖子
3 
精华
0 
金币
13  
注册推广
0  
阅读权限
10 
在线时间
1 小时 
注册时间
2010-9-20 
最后登录
2011-4-2 
17楼
1597541708发表于 2010-9-20 15:29 | 只看该作者
楼主：
禁止抓取 html  目录下，所有子文件夹里的，所有asp 格式文件，是这么写的吗？
怎么我设了，蜘蛛还老是抓asp文件？(因为我在IIS日志里看到，蜘蛛抓取html 文件夹下的asp文件报错，所以想禁止它抓取此格式的文件)
Disallow: /html/*.asp

TOP

Rank: 2

帖子
73 
精华
0 
金币
153  
注册推广
0  
阅读权限
20 
在线时间
5 小时 
注册时间
2011-3-27 
最后登录
2011-5-15 
18楼
249954608发表于 2011-3-30 17:29 | 只看该作者
嗯 认真学习了一下

TOP

12
返回列表