Sí, hay un límite para el archivo robots.txt en términos de tamaño de archivo de 500 KB como señala Vipin.
Se puede aplicar un tamaño de archivo máximo por rastreador. El contenido que está después del tamaño máximo de archivo puede ignorarse. Google actualmente aplica un límite de tamaño de 500kb.
Fuente: Especificaciones de Robots.txt
- ¿Cuáles son las diferencias entre las computadoras de servidor, las computadoras domésticas y los teléfonos inteligentes?
- ¿Qué es un algoritmo para encontrar los dos puntos más cercanos entre sí en O (nlogn) dado el punto n en el espacio bidimensional?
- ¿Hay mejores funciones hash que SHA-512?
- ¿Por qué el reloj de mi computadora portátil suele ir más rápido?
- ¿Cómo es tomar CS 224N (procesamiento del lenguaje natural) en Stanford?
En términos de limitaciones (no estoy seguro si también lo quiso decir), existe el hecho de que el archivo robots.txt es simplemente una directiva opcional, no un mandato. Por lo tanto, los motores de búsqueda no tienen que cumplir con sus pautas. No es ético no hacerlo, pero no es ilegal.
De hecho, hemos cubierto este tema en nuestras Preguntas frecuentes aquí: archivo Robots.txt: la guía de referencia definitiva. Puede leer mucho más en el archivo robots.txt si está interesado en obtener más información.
