经知道的有关这些页面的

但您可以读取该 URL，它将与来自 Internet 上其他页面和链接的信息一起出现在搜索中。此外，通过禁止，我们不会压制 Google 已信息，并且在添加禁止 URL 后，我们会看到结果如何在搜索引擎中保留一段时间，这并不奇怪。它绝对不是一种快速去索引的方法，它更旨在跟踪问题和中长期行动。 相反，元机器人中的 NoIndex 确实允许蜘蛛抓取 HTML，但禁止其结果出现在 Google 中。







它们的含义完全不同。 Disallow 禁止蜘蛛读取页面的 HTML。但您可以 冰岛 电话号码 读取该 URL，它将与来自 Internet 上其他页面和链接的信息一起出现在搜索中。此外，通过禁止，我们不会压制 Google 已经知道的有关这些页面的信息，并且在添加禁止 URL 后，我们会看到结果如何在搜索引擎中保留一段时间，这并不奇怪。它绝对不是一种快速去索引的方法，它更旨在跟踪问题和中长期行动。 相反，元机器人中的 NoIndex 确实允许蜘蛛抓取 HTML，但禁止其结果出现在 Google 中。







Google 不会考虑这个 HTML，因为我们已经禁止它访问它，所以不要给它添加标签。 同样的事情也会发生，尽管重定向的程度较小。如果我创建从旧 URL 到新 URL 的 301 重定向，同时通过 robots.txt 阻止旧 URL，Google 不应该知道我已经创建了 301（因为它不应该使用 301 访问 URL），因此权力移交将无法有效进行。在实践中，有时您确实会注意到重定向，但通常在执行这些操作时您会失去很多权限。