¡El rastreo y la indexación son dos cosas diferentes! Sí, parte del contenido de su sitio web aún puede indexarse. Si bloquea los rastreadores utilizando su archivo robots.txt, esto controla el rastreo y no la indexación. Si otro sitio se ha vinculado a su sitio web, un rastreador puede rastrear ese enlace e indexar esa página en su sitio. Si no desea indexar ciertas páginas, debe colocar una etiqueta de meta robots en cada página con noindex. Bloquear rastreadores no es la forma correcta de no indexar contenido.
Esto es directamente de Google, “No debe usar robots.txt como un medio para ocultar sus páginas web de los resultados de la Búsqueda de Google. Esto se debe a que otras páginas podrían apuntar a su página, y su página podría indexarse de esa manera, evitando el archivo robots.txt. Si desea bloquear su página de los resultados de búsqueda, use otro método como protección con contraseña o etiquetas o directivas noindex “.
Aprenda acerca de los archivos robots.txt
- Cómo hacer el mejor SEO para mi sitio bdtechspotinfo.blogspot.com
- Si debo continuar mi sitio o detenerlo, ¿alguna sugerencia?
- ¿Por qué no creas sitios web como Facebook?
- ¿Dónde puedo encontrar personas que trabajen en mi sitio web de forma gratuita?
- ¿Cómo crear un sitio web? ¿Y cómo hago dinero con eso?
¡Espero que esto ayude!
