Leí que Google ‘conoce’ solo el 1% de la web. ¿Qué pasa con el otro 99%? ¿Hay algún otro motor de búsqueda para descubrirlo?

No sé dónde lees que “Google conoce solo el 1% de la web” porque eso suena bastante dudoso. Probablemente solo lo sepan, es decir, se han arrastrado, alrededor del 30% de la web, tal vez tan bajo como el 20%, tal vez más cerca del 50% … ¿quién sabe? No, no hay otro motor de búsqueda para descubrir realmente la web oculta o la web no rastreada porque está oculta detrás de las características de seguridad o es en gran medida cosas que realmente no necesita (spam, etc.) Entonces, es más como “los otros 70 % “. Hay cientos de otros motores de búsqueda, en general todos ellos son lo suficientemente sabios como para saber que no vale la pena rastrear grandes porciones de la web o que no son de su incumbencia. Las notas de Jitesh Pabla también son interesantes.

Las únicas páginas que aparecen en las búsquedas de Google son las que se hacen “visibles” para las “arañas” de indexación de Google. Utilizo arañas porque así se llaman, pero en realidad estas arañas son en realidad programas informáticos complejos que barren la web e indexan páginas web. Los desarrolladores de las páginas web hacen “visibles” las páginas a las arañas de indexación de los motores de búsqueda. Por lo tanto, un sitio web puede contener miles de páginas, pero el motor de búsqueda indexa solo unas pocas porque eso es lo que quiere el desarrollador y, por lo tanto, estas son las únicas que aparecerán en las búsquedas.