El hardware del servidor de proveedores como HP o Dell debería estar bien para sus requisitos. La cantidad de hardware que necesita depende más de la escala de acceso a los datos que de la cantidad de datos que hay. Necesita 160 TB solo para almacenar los datos, por lo que necesitará un servidor con una gran matriz RAID o una matriz de almacenamiento para conectar a su servidor. Hay muchas opciones cuando se almacena esta cantidad de datos, lo que debe elegir depende de sus requisitos y presupuesto específicos.
La clave para la búsqueda rápida es indexar los datos. Mire los paquetes de código abierto Elasticsearch o Apache Solr para su software de búsqueda. Ambos le permiten crear índices personalizados de sus datos para la búsqueda. La indexación de sus datos requiere espacio en disco adicional, tal vez varias veces el espacio requerido para los datos en sí, dependiendo de cómo diseñe sus índices. Probablemente esté buscando un mínimo de 500 TB de almacenamiento, tal vez más como 1 PB (petabyte).
Luego, dependiendo de cuántas personas accederán a los datos, necesitará una cantidad adecuada de servidores de indexación y búsqueda (hardware) para escalar su sistema. Considere la escala que opera la búsqueda de Google y verá lo que quiero decir.
- ¿Por qué los teclados no se hacen virtuales en una computadora portátil? Algo así como tener una mega pantalla táctil con todas las teclas en lugar de las teclas mecánicas clásicas.
- ¿Las computadoras portátiles tienen alguna protección contra el voltaje incorrecto de un cargador?
- ¿Qué hardware de computadora actualizar para obtener 144 fps estables en BF1?
- ¿Qué juegos viejos pero buenos puedo ejecutar en una computadora arcaica?
- Cómo arreglar el cable suelto en el teclado de mi tableta
Hay esfuerzos de investigación en torno a la aceleración de GPU, pero nada en producción que he visto. Ver este enlace:
Soporte de GPU · Edición # 19148 · elastic / elasticsearch
para discusión entre el equipo de Elasticsearch con respecto a la aceleración de GPU, y este enlace:
Explore la aceleración de GPU
relacionado con la aceleración de GPU en Lucene, que sustenta a Apache Solr.
