¿Es necesaria la memoria ECC para garantizar la fiabilidad de los datos cuando se utiliza hardware de almacenamiento basado en ZFS?

Si usa la memoria ECC, es menos probable que experimente un error de datos no detectado. La probabilidad no es cero. Pero esto es cierto para cualquier sistema de almacenamiento; ZFS no es único al requerir memoria ECC para garantizar la integridad de los datos.

Veamos el camino que toman los datos.

1. Datos enviados a ZFS desde la aplicación
2. ZFS comprueba los datos
3. ZFS escribe los datos en los discos
4. El tiempo pasa
5. ZFS lee los datos de los discos
6. ZFS verifica la suma de verificación
7a. Si la suma de comprobación coincide, ZFS pasa los datos a la aplicación
7b. Si la suma de comprobación no coincide, ZFS intenta reconstruir los datos de las réplicas. Si esto tiene éxito, vamos al paso 7a. Si no podemos reconstruir los datos, ZFS informa un error de E / S y no pasa ningún dato.

ZFS solo puede protegerlo durante los pasos 3 a 5. Es decir, si los datos se corrompen después de que se calcula la suma de verificación o antes de que se verifique, ZFS puede detectar el daño y posiblemente solucionarlo.

Si los datos se corrompen en tránsito entre ZFS y la aplicación o durante el cálculo de la suma de verificación, ZFS no puede ayudarlo. No detectará la corrupción. Almacenará y recuperará datos incorrectos. Durante estos tiempos, los datos están en RAM. La RAM ECC debería detectar cualquier error que ocurra en estos momentos. Por lo tanto, el uso de RAM ECC le brinda la mejor oportunidad de garantizar la integridad de los datos.

El problema no es que ‘ZFS usa RAM más agresivamente’. Es simplemente que sin ZFS, tenía errores de memoria y no se dio cuenta. ZFS los hace notables.

Explico esto en mi publicación de blog: ¿Realmente necesitas ECC RAM con ZFS?

Imagínese: ¿puede voltear un bit aleatorio en el código del controlador del sistema de archivos y aún así esperar que el programa funcione? Tal vez si el código es de calidad de transbordador espacial, de lo contrario, debe esperar que el “controlador” del sistema de archivos falle. Aunque para que falle, es probable que tenga que voltear bits muy específicos … y las tasas citadas de bitflips en RAM (¿ya son muy pequeñas, menos del 0.22% de probabilidad por año DIMM?) Disminuyen en un factor de digamos aproximadamente 1000 (Programa de 4 MB de 4 GB de memoria), ¿sería mi suposición?

(Dicho esto, este no es mi dominio de experiencia; tal vez hay características de redundancia muy agradables que no conozco del kernel / compilador / etc.)

La pregunta es si le interesan los datos que está escribiendo en ZFS o cualquier sistema de archivos que use. Es posible que, por ejemplo, esté procesando una imagen, y los datos que escriba de nuevo pueden tener un píxel que ha cambiado. ZFS salvaguardará sus datos, pero los datos que escribió en primer lugar se corrompieron fuera del dominio de su sistema de archivos.

Sin embargo, debido a que estos errores son tan raros, yo mismo pregunto ¿Vale la pena la RAM ECC (código de corrección de errores), en relación con otras fuentes de corrupción?

Lo siento, no estoy respondiendo realmente a tu pregunta, sino simplemente hablando de ello. Su respuesta depende de lo que quiere decir con “asegurar” y qué tolerancia contra el fracaso desea. Yo mismo tengo curiosidad acerca de la frecuencia con la que ocurren estos errores, pero debo considerar otras causas potenciales de corrupción de datos: fallan dos discos al mismo tiempo, aumento de potencia, violación de seguridad, error del usuario, fallas de respaldo silenciosas, etc.