Probablemente sea una simplificación excesiva, pero no necesitan abrirse paso a través de toneladas de sitios web. Solo necesitan encontrar el índice correcto y la lista ya está hecha en gran medida utilizando su algoritmo de clasificación de página. Sospecho que tienen algo así como una jerarquía de índices, como un índice de computadoras y sobre qué temas conocen. Un grupo de computadoras, por ejemplo, conoce las páginas relacionadas con Charlie Sheen. Entonces, lo que hacen es caminar por el árbol para encontrar la máquina correcta. De hecho, probablemente lo hacen varias veces para cada solicitud y utilizan la respuesta más rápida.
Sé que Google es el cuarto fabricante de computadoras más grande del mundo. [1] Como no los están vendiendo, tienen una de las mayores cantidades de cómputo disponibles, si no la mayor. Probablemente optimizado para sus necesidades específicas.
[1] http://unwiredtech.blogspot.com/…
- ¿Qué infraestructura de servidor se requiere para servir 5 millones de páginas vistas por día?
- ¿Qué está mal con mi servidor DNS?
- Cómo hacer que mi computadora sea un servidor
- ¿Cómo se conectan los servidores a internet?
- Cómo configurar una base de datos para el servidor de mi sitio web que se puede escalar
Tal vez esta respuesta atraerá algo de atención de un ingeniero de Google real que pueda dar más detalles.
