403 エラー テクノロジー

当社のインデクサーはクラウド インフラストラクチャを使用し、インデックス作成ボットとして識別されます (詳細)。既知のボットを使用するのは正当な企業のみです。倫理的な企業は、当社のような倫理的な企業に対して、識別可能なボット ユーザー エージェントを使用し、robots.txt ディレクティブに準拠した識別可能な方法でのみ Web をインデックス作成することを契約で義務付けています。

一部のサイトでは、ユーザー エージェント ヘッダーでボットとして識別されるクラウド ネットワークやインデクサーからのトラフィックをブロックしています。サイトが当社をブロックしている場合、または 403 または 202 エラー メッセージでトラフィックをブロックするように構成されている場合は、403 エラー テクノロジーでタグ付けされます。