¿Está bien si hay tantos bots visitando mi sitio web?

Demasiado de algo siempre malo. Es mejor tener algún mecanismo para alejar los robots no deseados.

Hay 2 tipos de bots: –

  • legítimos, como el bot de Google, Bingbot, Yandex, etc. Si estos bots visitan nuestros sitios web. Estamos bien con eso. Además, deberías ser feliz.
  • ilegítimos: los bots DDos, otros bots no reconocidos. Estos son visitantes no deseados, es mejor mantenerse alejados o definir algunos límites para ellos.

Cosas que debes hacer: –

  1. Tenga Robots.txt que define qué tipo de bots o qué bots pueden rastrear. Aquí puede definir diferentes cosas como: –
    1. Qué URLS pueden rastrearse y qué URL están inhabilitadas.
    2. Cuánto retraso debe mantenerse entre 2 solicitudes.
  2. Utilice un mecanismo que pueda frenar las solicitudes excesivas como: –

Cómo protegerse contra DoS y DDoS con mod_evasive para Apache en CentOS 7 – Mod_evasive tiene un mecanismo para limitar el número de usuarios que visitan su sitio. Este módulo es para Apache, pero tenemos cosas similares a otros servidores web como ngnix.

3. Tenga herramientas como kibana y logstash para analizar y comprender access.log (s)

4. Inscriba algunos servicios como Cloudflare, que hacen el trabajo de guardia de seguridad para usted.

Yo diría que Google Analytics es bastante bueno para resolver estas cosas, así que esté atento. Si ves algo extraño allí, es un buen momento para que te fijes más en eso.

Seguramente me faltan algunas cosas técnicas (supongo que los más inteligentes dirían que probablemente necesites hacer algo con respecto a esos bots para ahorrar en tu ancho de banda, etc.) pero personalmente solo presto atención a los informes de Google Analytics que nunca se molestan en revisar mi cookie datos y me he llevado bien hasta ahora …

Todo estará bien al final

http://www.tranciscolabs.com/ser

Depende de su sitio web. si su sitio web tiene una gran cantidad de datos válidos cocinados y esos datos se amplían por su gran esfuerzo. No permita que ningún cralwers / bot rastree / visite su sitio web (excepto algunos robots de motores de búsqueda). de lo contrario puedes permitirlo.

Sí, está bien, no es un problema.