Como dijo Shannon González, puede hacer algunas cosas para decirles a los webcrawlers “oye, no quiero que se rastree esta página o sitio”, pero eso no evitará que su sitio sea rastreado por rastreadores que no respetan esos políticas
Si realmente quieres evitar esos rastreadores, puedes hacer algunas cosas:
- Denegar todas las solicitudes con encabezados extraños
- Denegar todas las solicitudes con agentes de usuarios extraños
- Bloquee las solicitudes rápidas que provienen de la misma dirección IP (que generalmente significa que es un rastreador)
- Agregue protección de contraseña (incluso si se trata de una contraseña básica) a las páginas
- Genere su contenido a través de javascript (la mayoría de los rastreadores no analizan el contenido generado a través de javascript)
- Finalmente, aquí hay un enlace con otras opciones adicionales para bloquear los rastreadores
Espero que ayude 🙂
- ¿Qué sitios web ocultos o secretos son útiles pero que la gente no sabe?
- ¿Por qué mi sitio web personal recibe tantos éxitos de los Estados Unidos?
- ¿Cuáles son las principales aplicaciones / sitios web para ganar dinero?
- Un gran nombre de dominio genérico (por ejemplo, flight.com o cupcakes.com o diamonds.com) ha caído en su regazo. ¿Qué harías con eso? Si eliges ir por la ruta capitalista, ¿cómo la monetizarías?
- ¿Qué puedo hacer para atraer más tráfico a mi sitio B2C?
