¿Los motores de búsqueda rastrean el contenido de la web profunda? Si es así, ¿cómo funciona?

Bueno, depende del motor de búsqueda al que se refiera y de lo que quiera decir con “web profunda”.

Como he mencionado en otras preguntas, la “web profunda” técnicamente solo se refiere a sitios y páginas que no están indexados por los principales motores de búsqueda, como Google, Bing y DuckDuckGo. Por ejemplo, la página principal de un sitio bancario, como Bank of America, estaría en la web de superficie o “clearnet”. Los detalles confidenciales, por otro lado, estarían en la web profunda, ya que debe ingresar una contraseña y una clave de sitio, etc.

Sé a qué te refieres, por supuesto; Creo que te refieres a sitios como los de la red Tor (sitios .onion). Esto a veces se conoce como la “web oscura”, porque estos sitios requieren configuraciones, software o permisos específicos para acceder a ellos.

Algunos sitios de cebolla aparecerán en los resultados de búsqueda de Google, pero no podrá acceder a ellos a menos que lo haga. hacerlo a través del navegador Tor, b. hacerlo a través de una aplicación móvil similar, como Orweb, o c. agregue un “.to” al final de la URL, que no recomiendo (porque su anonimato puede verse comprometido).

Un ejemplo de un sitio Tor que puede aparecer en los resultados de Google es el motor de búsqueda no Evil (http://hss3uro2hsxfogfq.onion). Entonces, técnicamente, sí, está indexado por Google, pero no puede acceder a él a menos que siga los pasos anteriores. Sin embargo, creo que una de las razones por las que este sitio en particular aparece en los resultados de búsqueda es porque, entre los diversos sitios de Tor, es uno de los más populares.

Además de eso, hay algunos sitios .onion que nunca aparecerán en los resultados de Google, ya sea porque no están indexados o porque Google los ha eliminado deliberadamente de los resultados.

Por otro lado, hay motores de búsqueda que rastrearán la red Tor. Como dije, el motor de búsqueda no Evil está diseñado específicamente para buscar sitios en Tor. Y no filtra ninguno de los sitios espeluznantes que no encontrarás en Google.

Hay varios otros ejemplos que también me vienen a la mente:

1. Buscar servicios ocultos de Tor

2. http://sinbad66644fr5lq.onion/ Sinbad Search Engine

3. http://xmh57jrzrnw6insl.onion/ TORCH! Tor Search Engine

4. http://gjobqjj7wyczbqie.onion Motor de búsqueda de velas

5. http://grams7enufi7jmdl.onion/ Grams Darknet Market Search

Estos motores de búsqueda rastrean el contenido de la “web oscura”, por así decirlo. Puede encontrar sitios en la red Tor y, ocasionalmente, también I2p. Es difícil de explicar, pero es posible que no siempre encuentre lo que está buscando con estos motores de búsqueda.

Los sitios populares de Tor pueden aparecer, pero si es algo muy oscuro, buena suerte para encontrarlo. Es mejor preguntar en diferentes foros y salas de chat, lo que lleva más tiempo.

¿¿Como funciona??

En cuanto a la segunda parte de su pregunta, cada motor de búsqueda funciona de manera ligeramente diferente, por lo que es posible que no tenga la respuesta perfecta para esto. Sin embargo, todos los motores de búsqueda funcionan mediante un proceso de rastreo e indexación. Los “rastreadores” miran las páginas web y siguen los enlaces en esas páginas, de forma similar a como lo harías si estuvieras mirando por la web.

Encontré una publicación en Grams: DarkNetMarkets Search Engine – Deep Dot Web, donde explican en cierta medida el proceso de rastreo del motor de búsqueda de Grams. Una de las preguntas fue “¿Cómo se busca?” ¿La respuesta?

“Estamos trabajando ahora para desarrollar nuestro algoritmo. A partir de ahora solo busca palabras clave en el título y las descripciones … agregaremos mucha otra información al algoritmo de búsqueda. Habrá un sistema de puntuación basado en palabras clave, número de transacción [sic], buenas críticas y número de clics [sic] de nuestro sitio. Basado en todo lo que esperamos para obtener los mejores resultados posibles “.

Me imagino que los otros motores de búsqueda funcionan de manera similar, aunque cada uno tiene su propio código y utiliza métodos ligeramente diferentes.

Sin embargo, espero que esto sea tranquilizador. La web profunda y la web oscura no son “inescrutables”, como el mito podría hacerte creer.