网站的首页频繁被蜘蛛抓取,可不可以nofollow一些接口?

尝试着改变或者增加首页到其它内页的入口数量和位置。

不太明白你问题,你的意思是抓取的太多了,还是什么?蜘蛛频繁抓取对于网站来说是一个好事,你可以通过在首页增加内页的连接来增加内页的爬取量。同时,你可以将首页没用的连接和入口Robots掉,例如像联系我们之类的!
不知道你问的是不是这个,稍微做了下延伸~

你要NO的不是在首页,而是在列表,详细页。因为通常情况下列表与详细页的主导航都是与首页导航共用的。这就意味着这些导航的内容永远都会出现3次(访问任意页面)


此文由《路飞网》编辑:首页 > 站长知识 > 网站的首页频繁被蜘蛛抓取,可不可以nofollow一些接口?
本文关键词:抓取,首页,蜘蛛,可不可以,频繁
一次性删除页面量非常大的page type对seo会有哪些影响?
为什么百度一更新,有的网站无排名了,而有的排名变好了?
猜你喜欢
热门关注排名