不论你的网站是用建立的，还是，还是，要注意你的网站都要做优化

我们在讲到针对一个网站的优化，特别是站内优化的时候，其实主要包含

2大方面：

- 一是针对页面的SEO （on-page ）

- 另外一个是网站结构优化，也叫做技术性SEO

由于搜索结果的竞争越来越激烈，对SEO在技术上的优化也提出了更高的要求。

一个表现良好的网站，必须要是可抓取、快速、安全的网站。

技术性SEO包含的内容很多，涵盖网站的结构设计、URL、网络地图等内容，而且是一个技术性很强的方面。

今天我主要说一说网站技术SEO的六个基本方面，做好这六大方面，网站的性能会更加优化和健康。

很多人可能看到这一章节会觉得很枯燥，但是其实是很重要的。

为什么呢？

因为一个网站，如果你花了很多时间在获取流量上，比如广告，比如红人，但是基本的文章的audit（审视）都没有过关的话，那么无形之中会大大增加你网站的营销费用。

试想一下一个2秒打开速度的网站，和一个十秒才打开的网站，那效果能一样吗？

所以从一个网站的优化角度来讲，特别是技术性优化的角度来探讨，我们要从以下几点进行优化:

01

确保网站可抓取

对于搜索引擎优化，做好优质内容是必须的。但是只有优质内容还不够，如果搜索引擎抓取不到这个页面，那你辛辛苦苦编写的内容不是白费了吗？

确保网站可抓取，首先要检查.txt文件，这个文件是任何网络爬行软件到达站点时的第一个调用点。

.txt文件会明确应该被抓取的和不应该被抓取的部分，表现为允许（allow）、禁止()某些用户代理的行为。

通过将/.txt添加到根域末尾，可以公开使用.txt文件。我们看一下网站的示例：

可以看到，网站不允许以/ wp-admin（网站后端）开头的URL被抓取。通过指明哪些地方禁止这些URL，可以节省带宽、服务器资源和爬网预算。

与此同时，搜索引擎爬虫抓取网站的重要部分时，不应该受到禁止。

因为.txt是爬虫在抓取网站时看到的第一个文件，所以最好是将.txt指向站点地图。可以在旧版的 中编辑和测试.txt文件。

在.txt的测试工具中，下面的网址栏输入任何网址，就可以检查这个网址能否被抓取，.txt文件中有没有错误和警告。

因为旧版的 功能要比新版本的功能多一些，在技术SEO方面旧版本会更好用一些。

比方说，旧版本可以查看站长工具上的抓取统计信息区域（Craw Stats），对于了解网站的抓取方式会更加的方便。

这个报告有3个图表网站建设，显示了最近3个月的数据。

每天抓取的网页数量、每天下载的千字节数、下载网页所花费的时间（以毫秒为单位），能够显示网站的抓取速度及和搜索引擎爬虫的关系。

搜索引擎爬虫定期访问某网站，并且这是一个快速而且容易被抓取的网站的话，这个网站就会有很高的抓取速度。

这些图表数据如果能保持一致是最好的，任何重大波动都会出问题，可能是HTML损坏，内容陈旧或.txt文件阻止了太多URL。

如果加载一个页面需要很长时间，表示爬虫爬取时间太长，建立索引速度较慢。

还可以在新版的 查看覆盖率报告中的抓取错误。

这些地方都是有爬取问题的页面，点击可以显示这些页面。检查这些页面是什么原因导致的爬取问题，最好不是很重要的页面，尽快解决这些问题。

如果你在Craw Stats或覆盖率报告中，发现重大的抓取错误或波动，可以对日志文件进行分析查看。

从服务器日志访问原始数据可能会比较麻烦，因为分析是高级设置，但它有助于准确理解哪些页面可以被抓取、哪些不能抓取。

哪些页面会被优先处理，哪些区域出现了预算浪费的情况，还有爬虫在爬取网站的过程中收到哪些服务器响应。

02

检查站点可编入索引

检查爬虫是否可以抓取网站之后，还要搞清楚网站上的网页有没有编入索引。

有很多方法可以检查这一问题网站建设，前面用到的 覆盖报告，就可以用来查看每个页面的状态。

从这个报告中我们看到四个数据:

还可以使用URL检查工具分析特定的URL。

如果某主页的流量有所下降，就该检查这个新加入的网站是不是已经编入索引，或者对这个网址进行问题排查。

还有一个好方法可用来检查网站能否索引，就是使用爬取工具，推荐 Frog。

Frog是最强大、使用最普遍的爬取软件之一。它有付费版本和免费版本，可以根据网站的大小进行选择。

免费版本的功能有限，抓取的数量限于500个URL。而付费版本的年费是149英镑，有很多的功能和可用API，没有抓取限制。

运行爬取软件之后，就可以看到和索引相关的两列结果。

：可索引性，显示URL能否被编入索引，是“可索引”还是“不可索引”。

：可索引性状态，显示URL不可索引的原因是什么，是不是被编为了另一个URL，或是带有无索引标签。

这个工具是批量审核网站一种很好的方式，可以了解哪些网页正在被编入索引，哪些网页不可被编入索引，这些都会显示在结果中。

对列进行排序并查找异常的情况，使用 ，能有效识别出可索引的重要页面。

最后，还可以使用这个网站检查你的页面有多少是已经索引的： 。

在搜索栏中输入site：并按Enter键，就可以看到网站上已被编入索引的每个网页。

示例：

这里我们看到有大约95,000个已经索引的URL，通过这个功能我们知道现在存储了多少网页。

如果你的网页数量和被谷歌索引的数量差很多。

那么你应该思考：