在搬家的时候随时注意好你的robots

首先先来说一下robots这个文件.

简单的说,这个文件是控制搜索引擎收录网站的.搜索引擎会派出蜘蛛在网络中爬行,但是有的时候,我们的网站或者网站的某个目录并不想被搜索引擎爬行到并且收录。例如一些后台文件,配置文件等等。搜索引擎也思考到了这一点,就弄出了一条规则,爬行一个网站的时候,先读取网站的robots文件,查看哪些被允许爬行,哪些不允许。之后再进行爬行收录。

在seo中,这是一个很重要的东西,它告诉搜索引擎哪些可以收录等,同时弄的不好,也会对网站收录造成致命伤害。这次就是一次血的教训。

在上次网站搬家之后,新主机还没有开启rewrite模块,所以博客链接无法伪静态写成以前的样子。之后又发生了一些事情,没有上网管理网站。以前的朋友都知道,我有三个月没有更新博客,也当然没有管理,就把这个事情忘了。

后来,听了很多站长朋友,在骂百度更新算法,把他的网站K掉了。我也没在意,检测一下我网站的收录,突然发现,以前很多的收录,现在只剩一个6月份的首页快照。坏了,我被百度K了。然后就在百度那里进行投诉。因为潜行者m的博客,文章都是精心构思原创手写的,SEO等方面也稍微做了一些,怎么会直接全K呢?查看了一下网站权重,跟以前没变,怎么收录没了?

前天,在后台清理的时候,发现服务器的rewrite开启了,然后就填上了以前的伪静态规则。这时,我猛的想起来了一件事,我曾经写的robots规则。

打开robots文件一看,果然,里面有条规则,把wordpress默认的链接形式屏蔽。此举是为了修改了伪静态规则之后,防止被检测成重复内容。结果那段时间,网站的链接全部都是wordpress的默认链接。我查询了一下谷歌的收录,结果也为0。原来,我的网站并不是被K了,而是被自己编写的robots规则,清掉了搜索引擎的索引。

修改了之后,搜索引擎又开始重新收录了,可以之前一年的积累,全化为了乌有。以后真的多注意一下。