403 错误技术

我们的索引器使用云基础设施并被标识为索引机器人（更多信息）。只有合法公司才会使用已知机器人。有道德的公司会要求其他像我们这样的有道德的公司以合同形式仅以可识别的方式索引网络，使用可识别的机器人用户代理并遵守 robots.txt 指令。

某些网站会阻止来自云网络和索引器的流量，这些流量在其用户代理标头中被标识为机器人。如果某个网站确实阻止了我们或配置为阻止带有 403 或 202 错误消息的流量，则会使用 403 错误技术进行标记。