¿Cómo funciona una cámara digital cuando se toma una foto cuya resolución (imagen) es menor que la resolución del sensor (máx.)?

Es interpolante, un poco # 3 de sus opciones.
Pero la cámara no está “produciendo una imagen de resolución máxima”, está tomando los datos brutos del sensor y combina la información de múltiples píxeles para crear una imagen de menor resolución.

# 2 no proporcionaría un resultado significativo.
Habría una pérdida significativa de información, es decir, un par de píxeles amarillo y azul se reduciría a un píxel de amarillo o azul, mientras que el resultado apropiado es crear un píxel verde.
Además, la cámara no siempre puede eliminar una cantidad uniforme de píxeles dependiendo de la diferencia de resolución entre el sensor y la configuración del usuario, por lo que el resultado sería una imagen distorsionada.

# 1 y # 3 son básicamente “zoom de recorte digital”:
Si el usuario está haciendo zoom con zoom digital y la resolución establecida por el usuario es menor que la resolución real del sensor, la cámara comenzará a equilibrar la escala con el recorte (la escala se reduce mientras se aumenta el factor de recorte).
El resultado es que una parte de la imagen total se está volviendo más grande mientras se reduce la pérdida de información causada por la interpolación.

Supongo que todavía estás hablando de una imagen que toma el sensor completo, no solo un recorte de una sección central.

La cámara tomaría los datos RAW recibidos del sensor y luego combinaría matemáticamente grupos de píxeles en píxeles más grandes. Si esto se hace mediante suavizado bicúbico o el vecino más cercano, no lo sé. Puede depender de la cámara.