以通过在XML站点地图中不编写不需要爬行的

hasanbdrifat

提高爬行能力的措施 优化您的 XML 站点地图 设置面包屑列表 设置内部链接 执行 URL 规范化 使目录层次更浅 优化显示速度 控制不必要页面的索引 获得高质量的反向链接 优化您的 XML 站点地图 提高爬行能力的第一个措施是“优化您的 XML 站点地图”。 XML 站点地图就像一张地图，可以让爬虫更轻松地理解您网站的信息。XML站点地图描述了网站的结构以及内容位于何处，因此对于爬虫破译网站上的信息有很大帮助。 另一方面，如果您没有适当的 XML 站点地图，爬虫将花费时间和资源来破译您网站上的信息，并且存在无法发现或爬行的风险。 此外，XML 站点地图必须包含您希望爬网程序读取的信息。因此，您可不必要页面，而是编写应该爬行的页面来优化您的站点。 设置面包屑列表 提高爬行能力的第二个措施是安装面包屑路径。 面包屑路径通常位于网站顶部，指示您在网站中的当前位置。通过安装面包屑，您可以使爬网程序更容易理解您的网站结构，从而提高爬网能力。 面包屑还可以实现结构化标记。通过实施结构化标记，您可以确保 Google 更正确地识别面包屑。 设置内部链接 提高爬行能力的第三个措施是“安装内部链接”。 爬虫通常使用环来检测页面，而不是立即识别它们。
4 K: g+ S6 P& k7 ?
因此，在页面中放置内部链接将提高可爬行性。 设置内部链接时，不仅将它们放置在全局导航等公共区域中，而且将它们放置在页面内也很重要。 通过在相关主题之间设置内部链接，爬虫可以更容易地识别页面之间的关系。 执行 URL 规范化 提高爬行能力的第四 爱沙尼亚 WhatsApp 号码 个措施是“URL规范化”。 生成页面时，可能会生成多个 URL，如下所示。当如上所示生成多个 URL 时，“URL 规范化”是指示哪些 URL 应被视为常规 URL。 Google通常允许每个页面有一个URL，如果您为同一页面生成多个URL（如上所示），则会被视为重复内容。 如果您最终得到重复的内容，Google 将不知道哪些页面应该被评级，并且它们可能不会被正确评级。
  }' e0 T! i" B
6 o3 V$ d: L0 c6 k

通过规范化 URL，Google 应该评估哪些页面变得很清楚，从而提高抓取能力。 使目录层次更浅 提高可爬行性的第五个措施是使目录层次变浅。 爬虫从浅层目录层次结构中爬行。因此，如果您的目录太深，爬行将很难发现您的页面。 <浅层目录示例> <深层目录示例> 001 此外，如果目录层次结构复杂且页面位置较深，则爬虫可能会认为该页面不重要并且可能会推迟检测。因此，由于爬行是从浅层目录层次结构开始的，因此建议重要信息尽可能保持浅层。 优化显示速度 提高抓取能力的第六项措施是“优化显示速度和服务器”。 爬虫有不同的“爬虫预算”，
" B0 J* [4 G2 \5 k
% w7 C$ I/ |  W# D# s* x
4 M7 G3 f- ]; `4 _/ c+ d" H