站点地图(,旧称,也写为Sitemap;又称网站地图)是一种列有某个网站所有网址(URL)的XML文件,由Google最先发起。利用Sitemaps协议,网站管理员可以列出网站上可以供搜索引擎抓取的URL,并通知给后者。Sitemaps中包含有关每个URL的其他信息,如URL上次更新的时间、更新的频率以及相对于网站其他URL的重要性。搜索引擎的爬虫可以通过Sitemaps更有效地抓取网站内容,并找到可能与网站其他内容没有相互链接的URL。Sitemaps协议是对robots.txt的补充。
历史
Google于2005年6月宣布正在进行一项名为的实验,以知识共享许可协议发布了免费的,同时发布了一个Python的开源客户端,用于生成常见的一些Sitemaps。Sitemaps发布后,即被包括维基媒体基金会下属站点在内的许多网站采用。2006年11月,Google、雅虎和微软的Live Search宣布支持,Sitemaps成为第一个改进搜索引擎爬网过程的联合开放行动。Ask.com于2007年4月加入支持Sitemaps的厂商行列。之后,美国亚利桑那州、犹他州、弗吉尼亚州等州的政府陆续宣布将在其网站上使用Sitemaps。
后来,Sitemaps协议基于打造“对爬虫友好的Web服务器”()这一想法进行了改进。2012年5月,Google宣布,他们正尝试在Sitemaps中添加rel="alternate"和。Google表示,使用Sitemaps并不能保证Sitemap中的所有项目都会被抓取并编制索引,但在大多数情况下,站点设置Sitemap是有益的。
文件格式
Sitemaps协议格式由XML标签组成。文件本身必须为UTF-8编码。Sitemaps也可以只是URL的纯文本列表。以下是仅包含一个URL并使用了所有可选标签的示例。
http://example.com/
2006-11-18
daily
0.8
一张站点地图必须以开始,并在其中引用命名空间(为协议规范)。以结束。中间以……分别列出每个项目,并使用……列出URL。站点地图的大小不得超过50MB、50,000个URL,若要列出超过50,000个URL,必须创建多个Sitemap文件,并在一个站点地图索引文件中列出每个站点地图文件。网站地图索引文件不能列出超过50,000个站点地图。但可以压缩为gzip文件。
视频站点地图()标示在搜索结果中显示的首选缩略图、视频发布日期、视频时长和其他元数据。视频站点地图还用于允许搜索引擎索引嵌入在网站上、但在外部托管(例如Vimeo或YouTube)的视频。Google新闻站点地图()受Google支持,可以方便快速地索引新闻主题。
参见
- 元数据
- Google网站管理员工具
参考资料
外部链接
*
评论 (0)