网站优化seo（七）搜索引擎的控制robots.txt的使用优化篇

　　有些时候我们会遇到这样的困难：我们原本不想被搜索引擎收录的网站后台地址却被搜索引擎“无情”的收录，这样只要在google里输入一个“后台、管理site:www..com”，自己的后台地址就会显露无疑，因此网站安全性也无从谈起。遇到这样的情况时，我们如何阻止搜索引擎收录我们不想被收录的文件呢？

　　一般在这个时候，我们常用的办法有两个，一个是编辑robots.txt文件，另外一个是在不想被收录的页面头部放置metaname="robots"标签。

　　所谓的robots.txt文件，是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件，robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件，关键词优化软件搜索引擎就可以知道在你的网站中，哪些文件是可以被索引的，哪些文件是被拒绝索引的。

　　在很多网站中，站长们都忽略了使用robots.txt文件。因为很多站长都认为，自己的网站没有什么秘密可言，而且自己也不太会使用robots.txt的语法，因此一旦写错了会带来更多的麻烦，还不如干脆不用。

　　其实这样的做法是不对的。在前面的文章中我们知道，如果一个网站有大量文件找不到的时候（404），搜索引擎就会降低网站的权重。而robots.txt作为蜘蛛访问网站的第一个文件，一旦搜索引擎要是找不到这个文件站群管理系统，也会在他的索引服务器上记录下一条404信息。

　　虽然在百度的帮助文件中，有这样的一句话“请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用文件。如果您希望搜索引擎收录网站上所有内容，请勿建立文件。”但是我个人还是认为建立robots.txt还是必须的，哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录，同时也会被其他搜索引擎收录的，所以，上传一个robots.txt文件还是没有什么坏处的。

　　如何写一个合理的robots.txt文件？

　　首先我们需要了解robots.txt文件的一些基本语法。