¿Con qué frecuencia actualiza Google su infraestructura de hardware? ¿Necesita seguir de cerca el ciclo de lanzamiento de nuevas CPU, GPU, etc.?

No lo sé, pero arriesgaré una suposición educada.

Google está constantemente agregando y retirando servidores, probablemente a un ritmo más rápido que casi cualquier otra compañía en el mundo. Esta tasa de rotación sin precedentes probablemente hace que los ciclos de lanzamiento de la CPU / GPU sean irrelevantes, excepto para la ranura en la que se usará el dispositivo a qué hora. Cualquier cosa que la cadena de suministro pueda ofrecer a un precio atractivo es lo que utilizarán.

Google es famoso por su infraestructura de hardware, pero han dejado en claro que reducir los costos operativos totales es la clave de su éxito. Todo se reduce a una ecuación económica que incluye no solo la potencia de procesamiento sino también el consumo de energía y los costos de enfriamiento. No necesitan lo más rápido, necesitan lo más eficiente para sus trabajos.

Por ejemplo, están experimentando con placas que no son de Intel: esta placa madre de Google significa problemas para Intel | CABLEADO

Recuerdo haber leído hace algunos años que la estrategia de hardware de Google se basaba principalmente en el uso de una gran cantidad de máquinas baratas (a menudo restauradas) en lugar de la última y mejor.
Con la gran cantidad de unidades que tienen, las actualizaciones no son eventos discretos sino un proceso continuo, pero (suponiendo que lo que leo es correcto) no las están actualizando tanto para el hardware más reciente como para el hardware no obsoleto.