们先了解下什么是Google SEO 网站地图？

Google SEO 网站地图英文名称叫做 sitemap ，是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接。它被视为网站内容的模型，旨在帮助用户和搜索引擎导航网站。当用户或搜索引擎蜘蛛访问网站时，sitemap可以作为一个引导，帮助它们快速找到网站的主要页面和内容。

sitemap的主要形式包括sitemap.html、sitemap.xml和sitemap.txt。其中，sitemap.html通常被放在网站前端页面，用于向访客清晰地展示网站的结构框架。而sitemap.xml和sitemap.txt则经常被存放在Robots.txt文件中，供搜索引擎蜘蛛快速抓取。

对于搜索引擎而言，sitemap可帮助搜索引擎蜘蛛索引站点上的所有页面，尽管它不保证会抓取站点的每个页面，但主要搜索引擎会推荐网站管理员创建并提交sitemap。

一般情况下sitemap创建方式有哪些？

1.选择生成工具：可以使用在线的sitemap生成工具或者通过编程的方式生成sitemap。这些工具可以帮助你快速生成包含网站所有页面链接的sitemap文件。

2.代码工具自动生成：对于一些熟悉编程的网站管理员，他们可以通过编写代码来自动生成sitemap。例如，可以编写一个aspx.cs程序，该程序能够自动抓取网站的所有页面链接，并生成sitemap文件。生成的sitemap文件可以存放在网站的根目录下。

3.利用网站系统或插件：一些网站系统或内容管理系统（CMS）如现在的开源系统，Wordpress、安企CMS等，在其根目录下可能已经有预设的sitemap生成文件（如sitemap.asp）。通过执行这些文件，可以自动创建本网站的sitemap。

4.手动创建：对于小型网站或者特定需求，也可以手动创建sitemap。这通常涉及到将网站的所有页面链接整理到一个XML或HTML文件中，并确保该文件的结构清晰、规范。

无论选择哪种方式创建sitemap，都需要注意确保sitemap的准确性和完整性，以便搜索引擎能够正确索引网站的所有页面。同时，还需要定期更新sitemap，以反映网站的最新内容。创建好sitemap后，还需要将其提交给搜索引擎，以便搜索引擎能够找到并抓取网站的内容。

## 关于sitemap 协议
sitemap的标准由谷歌制定 [1]。 其详细protocol 见 [2] 。
`SitemapIndex` 是一个 XML 文件，它的作用是列出网站中所有的 Sitemap 文件。这适用于大型网站。

`SitemapIndex` 文件的结构类似于 Sitemap 文件，但是它包含的是 Sitemap 文件的 URL，而不是网站页面的 URL。每个 `<sitemap>` 标签都代表一个 Sitemap 文件，它包含两个子标签：`<loc>` 和 `<lastmod>`。`<loc>` 标签包含 Sitemap 文件的 URL，`<lastmod>` 标签包含 Sitemap 文件最后修改的日期和时间。

以下是一个 `SitemapIndex` 文件的示例：

```xml
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>
```

在这个例子中，`SitemapIndex` 文件列出了两个 Sitemap 文件的 URL，以及它们最后被修改的时间。


## sitemap-spider
`scrapy` 提供了一个 `SitemapSpider` [3] 。


## ref
[1] https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview?hl=zh-cn
[2] https://www.sitemaps.org/protocol.html
[3] https://github.com/scrapy/scrapy/blob/master/scrapy/spiders/sitemap.py