robots.txt文件到底有没有用?收录少的WordPress博客可看出

很多人问过小小课堂SEO自学网,robots.txt文件到底有没有用?有什么用?大部分回复的是,细致优化的效果肯定会好一些,其意思是在某些网站上,可能不放robots.txt文件也无大碍,但是对于某些网站,可能会有不好的影响。

今天,小小课堂SEO自学网带来的是《robots.txt文件到底有没有用?收录少的网站可以看出重要性》。希望对大家有所帮助。

robots.txt文件

一、不必要的页面被收录

小小课堂的几个站都采用了WordPress系统,恰巧这些问题都是从这些wp博客中出现的。

① 分页页面被收录

之前的小小课堂网建站之初,就出现过分页页面被收录的问题,过多的收录分页对网站优化没有任何意义,虽然在一定程度上Google会认为这种页面重复率过多,不予收录。参见以往教程《SEO优化网站分页页面被收录》。

这种情况通常URL中包含了page。

分页页面被收录

② feed 或 attachment等页面被收录

rss feed本来是方便人们订阅的,不过被收录就显得毫无意义了。这种页面的url中通常带有feed。

③ /?r= 或 /?s= 等页面被收录

同样的,这些页面也是毫无意义的,收录了过多这样的页面,必定对网站毫无意义。这个问题发生在前段时间弄的Anli网赚博客( https://www.anlianli.com/ )上。

/?r= 或 /?s= 等页面被收录

二、以上问题robots.txt文件解决

在robots.txt文件中添加一下命令即可解决该问题:

Disallow: /?s=*
Disallow: /?r=*
Disallow: /*/?s=*\
Disallow: /*/?r=*\

这里就不给出具体的WordPress robots.txt的整个文件信息了,因为小小课堂在操作robots.txt之后,发现出现的问题不统一,并且,这些robots.txt文件并不是可以试用每一个WordPress站,如果真的可以那样,小小课堂认为WordPress官方可能也会出一个自带的WordPress吧。

当然,除了添加这样一个robots.txt文件之外,最好还将那些被收录的页面全部提交快照删除。不过对于百度可以这样,对于搜狗搜索貌似有点无能为力,就好比之前的小小课堂一共1000多文章,收录却有10000多。

以上就是小小课堂SEO自学网带来的是《robots.txt文件到底有没有用?收录少的网站可以看出重要性》。感谢您的观看。

为您推荐

error: Content is protected !!