¿Qué aplicaciones usan algoritmos complejos y únicos?

Supongo que eso depende de lo que quieras decir como complejo. ¿Es el tamaño del algoritmo, el número de funciones distintas o el tiempo de ejecución? Una vez implementados, casi todos los algoritmos adquieren un poco de singularidad. Pero echemos un vistazo a algunos lugares de interés.

Software como Renderman, un paquete de visualización en 3D utilizado para hacer películas como Monsters Inc, incluye una amplia gama de fórmulas matemáticas. La simulación y representación de una escena 3D implica una cantidad vertiginosa de algoritmos matemáticos y de datos.

Algunas partes de los sistemas operativos usan algoritmos bastante únicos. Por ejemplo, la forma en que Linux administra su lista de aplicaciones pendientes y cambia entre ellas. Siempre hay mucho desarrollo en esta área, y los algoritmos son altamente especializados para Linux, no es que otros sistemas operativos no puedan adoptarlos.

Casi todas las simulaciones de software que se ejecutan en supercomputadoras tienden a ser únicas. Son altamente especializados para lo que están calculando, simulaciones climáticas, simulaciones nucleares, plegamiento biológico, etc. Los algoritmos reales pueden no ser complejos como se espera, pero la forma en que todo funciona en conjunto es una hazaña impresionante.

A menudo encontrará algoritmos únicos en informática de alto rendimiento. Por ejemplo, una vez hice un sistema de registro de bajo nivel usando atómicos y buffers de anillo. No era mucho código, pero su naturaleza concurrente lo hace parecer complejo. Puede obtener más detalles al respecto aquí:
http://mortoray.com/2014/05/29/w…

No hay escasez real de ejemplos, los anteriores son solo algunos.