¿Hay un límite para el archivo robots.txt?

Sí, hay un límite para el archivo robots.txt en términos de tamaño de archivo de 500 KB como señala Vipin.

Se puede aplicar un tamaño de archivo máximo por rastreador. El contenido que está después del tamaño máximo de archivo puede ignorarse. Google actualmente aplica un límite de tamaño de 500kb.

Fuente: Especificaciones de Robots.txt

En términos de limitaciones (no estoy seguro si también lo quiso decir), existe el hecho de que el archivo robots.txt es simplemente una directiva opcional, no un mandato. Por lo tanto, los motores de búsqueda no tienen que cumplir con sus pautas. No es ético no hacerlo, pero no es ilegal.

De hecho, hemos cubierto este tema en nuestras Preguntas frecuentes aquí: archivo Robots.txt: la guía de referencia definitiva. Puede leer mucho más en el archivo robots.txt si está interesado en obtener más información.

Su archivo robots.txt debe ser inferior a 500 KB.

John Mueller de Google, recordó a los webmasters a través de Google+ que Google tiene un límite de solo poder procesar hasta 500kb de su archivo robots.txt.

Esto es lo que John dijo:

“N.º 102 de las cosas a tener en cuenta al trabajar en un sitio web grande: si tiene un archivo robots.txt gigante, recuerde que Googlebot solo leerá los primeros 500 kb. Si su archivo robots.txt es más largo, puede hacer que una línea se trunca de forma no deseada. La solución simple es limitar sus archivos robots.txt a un tamaño razonable 🙂 “.

Por lo tanto, si tiene un archivo robots.txt grande que excede este límite, GoogleBot puede confundirse.

Si GoogleBot se confunde con el archivo robots.txt de su sitio web, puede causar algunos problemas graves con el estado de su sitio web en los resultados de búsqueda de Google.

Puedes encontrar mas información aquí.

Creo que no hay límite, pero mientras buscaba en Google encontré un artículo: John Mueller dijo: “Google tiene un límite de solo poder procesar hasta 500 KB de su archivo robots.txt”.

Fuente: Google: los archivos Robots.txt deben ser menores de 500 KB

Sí, googlebot lee los primeros 500 KB presentes en el archivo robots.txt.

More Interesting

¿Qué puede hacer un graduado en informática para mejorar su currículum, ya que los proyectos realizados por la mayoría de los estudiantes son más o menos proyectos académicos con estándares comunes en diferentes universidades?

¿Cuándo serán los robots de inteligencia artificial lo suficientemente buenos como para hacer un teatro de improvisación adecuado?

Flip Video: ¿Por qué no puedo escuchar el sonido cuando abro un archivo .WMV?

¿Tiene sentido una optimización de enjambre de partículas posterior a un algoritmo genético?

¿Cuál es el significado de "migas de pan" en la jerga de la base de datos?

¿Por qué el tamaño de RAM en un sistema siempre es menor que el tamaño del disco duro? ¿Por qué las RAM no están disponibles en los módulos de memoria más grandes?

Cómo convertirse en un experto en informática, informática, diseño, etc.

¿Cómo puede determinar eficientemente el k-ésimo elemento máximo en un árbol de búsqueda binario?

¿Cómo se puede aplicar Machine Learning para descifrar la secuencia de comandos de idiomas desconocidos?

¿Por qué hay tantos libros de un solo libro?

Si una placa base falla, ¿es posible iniciar el sistema informático o no?

¿Por qué las operaciones matemáticas como la suma, la resta, la multiplicación y la división no pueden tomar más de 2 operandos?

¿Cómo se puede usar Machine Learning para eliminar la política de la oficina?

Si la potencia informática de la IA consciente se midiera en un coeficiente intelectual, ¿cuál sería?

¿Cómo se compara Bing y DuckDuckGo con Google en términos de características y calidad? ¿Es Google el motor de búsqueda más utilizado porque la gente se ha acostumbrado demasiado?