7 个会毁掉 SEO 的技术问题及其解决方法
Posted: Thu Jan 02, 2025 10:16 am
如果没有强大的技术优化，其余的搜索引擎优化 (SEO) 都是毫无意义的。除非搜索机器人能够抓取和索引您的网站，否则它们无法在搜索结果中对您的内容进行排名。
了解 SEO 中的技术问题远不止在 Semrush 中运行网站审核或在 Screaming Frog 的 SEO Spider 中进行抓取。虽然这些工具在审核网站的技术 SEO 方面很有用，但您需要深入挖掘才能发现真正影响网站被抓取和索引能力的问题。在使用这些工具以及许多其他可以帮助诊断技术 SEO 问题的工具时，请审核您的网站是否存在这七个可能毁掉您的 SEO 努力的技术问题。
阻止抓取路径
1. Robots.txt 文件
robots.txt 文件是最终的门户。这是道德机器 比利时电话号码领先 人抓取您的网站时首先要去的地方。robots.txt 文件是一个简单的文本文件，包含允许和禁止命令，用于告诉搜索引擎要抓取什么以及要忽略什么。robots.txt 文件中的错误可能会意外禁止整个网站，告诉机器人不要抓取任何内容。要查找全站禁止，请查看 xt 文件（ 并查找以下内容：
用户代理：*
立即获取免费 PPC 审计！
不允
要查找 robots.txt 文件中的其他错误，请使用Merkele 的 Validator等检查器。当您输入网址时，验证器会显示 robots.txt 文件并告诉您输入的网址是被允许还是被禁止。
封锁索引
2. Meta Robots Noindex 标签
查找被 meta robots noindex 标记阻止的页面的唯一方法是使用 Screaming Frog 的 SEO Spider 等爬虫程序对网站进行爬取，或者转到 Google Search Console 的页面报告并点击“被 'noindex' 标记排除”报告。请注意，Google Search Console 只会向您显示受影响的 1,000 个页面样本，因此如果您的网站很大，您可能无法通过这种方式完全分析问题。
3. 规范标签
谷歌认为规范标签是一种建议，旨在从一组重复页面中识别出需要索引的页面。通过为每个页面选择一个规范标签，您可以要求谷歌不要索引带有跟踪参数的网址等。规范标签位于页面呈现的 HTML 代码的头部，如下所示：
但是，有时规范标签会出错，导致 Google 不将我们真正想要的内容编入索引。识别错误规范化 URL 的最佳方法是使用 Screaming Frog 的 SEO Spider 等爬虫程序对网站进行爬取，并将规范 URL 与爬取的 URL 进行比较。您还可以查看 Google Search Console 的“具有正确规范标签的替代页面”和“没有用户选择的规范的重复”报告。
了解 SEO 中的技术问题远不止在 Semrush 中运行网站审核或在 Screaming Frog 的 SEO Spider 中进行抓取。虽然这些工具在审核网站的技术 SEO 方面很有用，但您需要深入挖掘才能发现真正影响网站被抓取和索引能力的问题。在使用这些工具以及许多其他可以帮助诊断技术 SEO 问题的工具时，请审核您的网站是否存在这七个可能毁掉您的 SEO 努力的技术问题。
阻止抓取路径
1. Robots.txt 文件
robots.txt 文件是最终的门户。这是道德机器 比利时电话号码领先 人抓取您的网站时首先要去的地方。robots.txt 文件是一个简单的文本文件，包含允许和禁止命令，用于告诉搜索引擎要抓取什么以及要忽略什么。robots.txt 文件中的错误可能会意外禁止整个网站，告诉机器人不要抓取任何内容。要查找全站禁止，请查看 xt 文件（ 并查找以下内容：
用户代理：*
立即获取免费 PPC 审计！
不允
要查找 robots.txt 文件中的其他错误，请使用Merkele 的 Validator等检查器。当您输入网址时，验证器会显示 robots.txt 文件并告诉您输入的网址是被允许还是被禁止。
封锁索引
2. Meta Robots Noindex 标签
查找被 meta robots noindex 标记阻止的页面的唯一方法是使用 Screaming Frog 的 SEO Spider 等爬虫程序对网站进行爬取，或者转到 Google Search Console 的页面报告并点击“被 'noindex' 标记排除”报告。请注意，Google Search Console 只会向您显示受影响的 1,000 个页面样本，因此如果您的网站很大，您可能无法通过这种方式完全分析问题。
3. 规范标签
谷歌认为规范标签是一种建议，旨在从一组重复页面中识别出需要索引的页面。通过为每个页面选择一个规范标签，您可以要求谷歌不要索引带有跟踪参数的网址等。规范标签位于页面呈现的 HTML 代码的头部，如下所示：
但是，有时规范标签会出错，导致 Google 不将我们真正想要的内容编入索引。识别错误规范化 URL 的最佳方法是使用 Screaming Frog 的 SEO Spider 等爬虫程序对网站进行爬取，并将规范 URL 与爬取的 URL 进行比较。您还可以查看 Google Search Console 的“具有正确规范标签的替代页面”和“没有用户选择的规范的重复”报告。