Puede deberse a una amplia variedad de razones y a nuestra experiencia de primera mano con clientes que se quejan de cosas como esta; bien puede deberse a arañas y bots.
Para bots como Google y Bing, cumplen con las reglas de exclusión de robots.txt; sin embargo, a pesar de que son bots amigables, no significa que no puedan rastrear su sitio web con demasiada frecuencia, lo que causa un costo por la pérdida de ancho de banda. En el caso de Google, puede contactarlos al respecto y reducirán artificialmente la cantidad de veces que los bots de Google rastrean su sitio web para reducir la cantidad de ancho de banda que están causando que pierda como resultado de rastrear su sitio web con demasiada frecuencia. .
Sin embargo, desafortunadamente, no todos los bots o arañas de búsqueda de algunos proveedores de búsqueda menos populares cumplirán con las reglas de exclusión de robots.txt (si las tiene), y específicamente, reducirán la cantidad de veces que rastrean su sitio web cuando se contacta con la compañía al respecto Hemos recibido quejas de los clientes sobre las arañas de búsqueda para el motor de búsqueda Baidu que rastrean sus sitios web con demasiada frecuencia causando una gran pérdida de ancho de banda, y si busca esto, es un problema bastante bien informado con muchos webmasters.
- ¿Qué es el proceso de DNS?
- Cómo encender un adaptador inalámbrico
- ¿Qué es la máscara de subred y los ejemplos alojados?
- ¿Qué es la conectividad?
- En las redes de computadoras, ¿cuáles son los pros y los contras de una conexión multipunto sobre una conexión punto a punto?
