¿Qué tan difícil es realmente escribir un nuevo sistema operativo (SO) como Windows para computadoras?

Eso realmente depende de lo que quieras que haga el sistema operativo. Cada vez que escribe un programa para un SoC (sistema en un chip, como un arduino), ese es un sistema operativo. dado que es poco probable que sea un sistema operativo de propósito general (como Windows, Linux, etc.).

Los sistemas operativos de propósito general tienden a ser una situación acumulativa, es decir. comienzas con algo simple y le agregas más a medida que pasa el tiempo. Linux es un buen ejemplo de esto (Windows y Mac OS también lo están, pero la historia de Linux está bien documentada y puede adquirir fácilmente todas las versiones que haya existido).

Al principio, Linus Torvalds escribió un sistema para ser compatible con Posix (un conjunto de estándares del sistema operativo para ayudarlos a trabajar bien juntos). Luego lanzó el código al público a través de grupos de noticias y la gente comenzó a contribuir. Era muy básico, solo admitía una cantidad limitada de hardware y no había mucho que pudieras hacer con él. Casi de inmediato se transfirieron cosas de GNU, incluidos los compiladores que permitieron el desarrollo en masa y la portabilidad de otros programas como el Sistema X Window (dándole una GUI, que anteriormente no era posible). Con el tiempo, el sistema operativo se ha disparado hasta el punto que es hoy, ejecutando más de un tercio de los servidores en Internet. Rivaliza y, en muchos sentidos, supera a Windows y Mac OS en funcionalidad y usabilidad.

Entonces, para volver a su pregunta original: no es difícil escribir un sistema operativo, es solo una cuestión de más horas de trabajo cuanto más complejo desee hacerlo.

No es tan difícil como crees.

La verdadera dificultad es lograr que las personas lo usen y los desarrolladores creen aplicaciones para él. Problema clásico de pollo y huevo.