¿Serían 8 de las unidades de la Unidad de Procesamiento de Tensor de Google configuradas en paralelo tan rápido como la supercomputadora más rápida del mundo, Sunway TaihuLight?

No, porque TPU no ejecuta Linpack. (Es posible que pueda ejecutar una versión pirateada drásticamente, pero ciertamente no funcionaría en los flops clasificados, que, después de todo, está completamente diseñado para NN).

Es común criticar a Top500 por ser arcaico, pero en su defensa, Linpack honestamente modela muchos códigos computacionales. Ni siquiera es un mal modelo para NN, excepto que Top500 es DP y NN parece querer realmente la precisión más baja posible …

En general, no hay reemplazo para la escala. Las GPU, por ejemplo, son aceleradores efectivos para una pequeña fracción de los tipos de trabajos que se ejecutan en una máquina Top500, pero básicamente inútiles para el resto. Podría decirse que lo mismo se aplica a la creciente aceleración de vectores incorporada en las CPU estándar: excelente para algunos códigos, pero sin beneficio para otros. (Obviamente, las GPU son una forma de procesador vectorial: si alarga un núcleo Intel AVX-512 a 2048, tendría algo similar a un GP100 SM.) Por lo tanto, los recursos informáticos mejores, más rápidos y más flexibles del mundo siempre Ser grandes grupos.