¿Por qué Google u otros motores de búsqueda no pueden indexar sitios web en la web profunda?

La conexión se encripta y luego rebota entre nodos, ninguno de los cuales rastrea la ruta completa.

(Difiere de https y ssl, que son los datos cifrados que se pasan entre el servidor y el cliente)

Estarían capturando información sobre un sitio sin DNS o cualquier forma de proporcionarle una ruta más tarde.

Google dorks en realidad muestra muchos sitios [web profunda, no web oscura] que fueron indexados que deberían haber tenido un archivo robots.txt para detener el rastreador , pero incluso aquellos que tienen un nombre DNS o una dirección IP para indexar no un nombre TLD de cebolla, que es más o menos una versión autocifrada de dónde se puede encontrar su sitio en este momento, tanto IP como puerto.

La inclusión del puerto en la resolución de dirección .onion significa que un rastreador web de motores de búsqueda necesitaría no solo rastrear todas las direcciones IP en los puertos 80 y 443 como lo hace, sino también todos los puertos 65535 para una dirección IP dada.

Si un motor de búsqueda almacenara la dirección .onion, aún necesitaría TOR para visitarla en función de esa dirección.

Supongo que debería agregar eso realmente, podrían indexar todo, pero sería un gran esfuerzo inútil fuera de su modelo de negocio. La mayoría de los datos son inútiles.

Puede intentar enviar el enlace de su artículo / sitio web en la consola de búsqueda de Google utilizando fetch como google. O puede mantenerlo como está para indexarlo naturalmente por los rastreadores de Google. O puede probar 5 formas de indexar el sitio web en Google rápidamente
Realmente ayudará a indexar toda su publicación / artículo en Google muy rápidamente.

Porque los sitios web profundos solo son accesibles a través de la red tor. Hay otros motores de búsqueda como https: // duckduckgo .com / que pueden indexar sitios web deepweb.