刚才看了一个很有意思的robots.txt文件,你觉得有不对劲的吗?

这个是正确的,allow的优先度是大于disallow,
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image

upload文件里面可能不止以上四个文件,他想屏蔽的是除了这四个文件之外的upload文件.如果upload里面只有这四个文件的话,那网站主这么写就确实是有问题了!

呵呵,关键是前五行,
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image
Disallow:/upload/

有点儿矛盾。

先允许了所有.html文件,又允许了3个文件夹,然后又来个禁止!按照从上到下的顺序的话......不知道该咋说了!我瞬间不会Robots了

Robots.txt的判断,应该是会有一个优先顺序,不然蜘蛛自己都凌乱了


此文由《路飞网》编辑:首页 > 站长知识 > 刚才看了一个很有意思的robots.txt文件,你觉得有不对劲的吗?
本文关键词:看了,你觉得,不对劲,很有意思,文件
百度站长平台网站改版工具beta版上线公告,有句话看不懂!求指教
突然发现百度索引量 暂无数据
猜你喜欢
热门关注排名