正如百度百科中对robots.txt解释一样，它是一个协议，是搜索引擎在访问我们的站点时第一个要查看的文件。在这里面我们可以设置哪些文件是允许搜索引擎抓取的，还有哪些是不允许进行索引的。

robots.txt的设置非常的重要，如果你在网站的根目录里面添加了这个文件，那么就得慎重了，因为错误的robots.txt很有可能会导致搜索引擎不索引你的站点。所以我们使用开源程序建站时如果对这个文件还不是那么了解的话，可以默认采用官方给的robots.txt就行了，这样一来也会减少一些麻烦。当然了，如果你对它的设置已经了如指掌了，那么就依据自己网站的情况设置，好的robots.txt能够给我们网站带来的效果是非常之大的。
了解更多内容：请访问：雨点网络  石家庄网站制     石家庄网站建设