Ampliando la respuesta de Mazarovici, la web profunda representa contenido que los robots de búsqueda no pueden rastrear porque están prohibidos por robots.txt o la etiqueta de meta robots (como lo ha descrito Mazarovici) o son físicamente incapaces de acceder a los datos.
Hay varias razones por las cuales este puede ser el caso. Aquí hay algunos que vienen a la mente:
- El contenido está protegido por contraseña
- El contenido vive en bases de datos no rastreables y solo está disponible a través del motor de búsqueda del sitio
- El contenido se obtiene dinámicamente a través de JavaScript
- El contenido es huérfano (en realidad, nada lo vincula)
- El contenido vive en objetos Flash
Estoy seguro de que hay otras razones.
- ¿Los motores de búsqueda rastrean el contenido de la web profunda? Si es así, ¿cómo funciona?
- ¿Es legítimo el sitio Chechen Mob en dark web?
- ¿Qué pasaría si le ordenara a un sicario de la red oscura que matara a Kim Jong Un?
- ¿Qué es la web oscura? ¿Cómo se accede a él? ¿Cómo sé si he llegado allí?
- ¿Cuáles son las cosas más oscuras y sorprendentes que has encontrado en la web profunda?
Algo sobre lo que su pregunta no preguntó pero que está recibiendo mucha atención en estos días es la darknet (también llamada dark web). Esto se refiere más comúnmente a los sitios .onion que viven en la red Tor. Tor es en realidad un acrónimo de The Onion Router, que es un sistema de anonimato que protege las direcciones IP del visitante del sitio, así como el sitio para que ninguno pueda ver al otro.
Me imagino que Google y Bing son perfectamente capaces de rastrear estos sitios (como otros lo son … Digital Shadows recientemente lanzado con esta capacidad), pero sería una experiencia horrible para un buscador desconocido en un motor de búsqueda importante hacer clic en un sitio .onion si no estaban usando un navegador Tor.
También hay implicaciones legales, ya que hay mucho contenido en la red oscura al que es ilegal acceder o descargar.
