He realizado algunos años de investigación en esta área.
Si una imagen es sintéticamente borrosa (por convolución en una computadora con un PSF conocido, en lugar de ser borrosa en la cámara), entonces usar solo algunos antecedentes débiles en imágenes naturales es suficiente para obtener una reconstrucción muy nítida y de alta calidad, incluso con Algoritmo de desconvolución simple. Los grandes problemas surgen cuando uno intenta aplicar algoritmos de deconvolución al desenfoque que ocurre en el proceso de formación de imágenes de una cámara del mundo real. Hay dos problemas: (1) el desenfoque que ocurre en una cámara no se puede modelar exactamente por convolución matemáticamente exacta, y (2) el filtrado inverso es muy inestable numéricamente. Estos se cubren en detalle en los dos párrafos siguientes.
Filtrado inverso:
Como otros han insinuado que el filtrado inverso es un proceso altamente inestable. Cualquier leve inexactitud en la PSF estimada da lugar a grandes errores (generalmente vistos como “timbres”) si se usa una PSF ligeramente imprecisa para desenfocar una imagen usando una deconvolución antigua. Si tiene el PSF correcto, entonces el filtrado inverso teórico puede hacerse exactamente en el dominio de Fourier dividiendo la transformada de Fourier de la imagen borrosa por la transformada de Fourier del PSF, y tomando la transformada de Fourier inversa de eso. Pero incluso entonces habrá valores cero, o valores muy muy pequeños, en la transformada de Fourier del PSF (para desenfocar los PSF). Dividir por valores pequeños es problemático. Por lo tanto, este proceso realmente amplifica el ruido y los errores en la medida en que cualquier pequeña inexactitud en el PSF o la imagen borrosa provoque que el resultado sea inutilizable. Por lo tanto, los enfoques más útiles utilizan información previa sobre cómo debería ser una imagen “natural”; en otras palabras, el conjunto de imágenes digitales probables de una cámara es un conjunto mucho más pequeño que el conjunto de imágenes generadas aleatoriamente, y este tipo de información puede usarse para regularizar el proceso de desconvolución. Por ejemplo, un tipo utilizado anteriormente en el desbarbado tiene que ver con la distribución estadística de bordes y sus intensidades en imágenes naturales.
- ¿Has utilizado Google Translate recientemente? ¿Cómo es la calidad de la traducción con su nueva traducción automática neuronal? ¿Cómo es para cualquier par de idiomas?
- ¿Cuáles son los mejores métodos de detección de anomalías para imágenes?
- ¿Cuáles son los pros y los contras de estos tres modelos de secuencia: modelo MaxEnt Markov, campos aleatorios condicionales y redes neuronales recurrentes?
- Cómo entrenar una red neuronal para detectar un objeto en un video que no estaba presente en el cuadro anterior
- ¿Cómo detectaría el modelo de aprendizaje profundo los mismos objetos varias veces en un parche de imagen si existe?
Proceso de desenfoque imperfecto de las cámaras: (1) Para imágenes borrosas por el movimiento de la cámara y el desenfoque de la lente El PSF no es exactamente el mismo en todas partes de la imagen. Para el caso de desenfoque de movimiento, esto es especialmente cierto para lentes gran angular. (2) El modelo de formación de imágenes para el desenfoque debe ser un proceso lineal para que funcione el filtrado inverso, pero las cámaras comprimen la escala de intensidad en los extremos alto y bajo del rango de intensidad, y esta compresión hace que el proceso no sea lineal. (3) las cámaras siempre agregan una cierta cantidad de ruido del sensor y este ruido se amplifica mediante cualquier tipo de filtrado inverso.
Actualmente es un área de investigación activa en visión por computadora. Y se están haciendo muchos progresos. Creo que con el tiempo podremos obtener imágenes totalmente nítidas a partir de imágenes borrosas, pero es un problema muy difícil. Aquí hay una referencia antigua pero una de las más citadas. En mi opinión, este artículo, de Rob Fergus y otros, rejuveneció el área cuando salió hace unos 8 años: eliminar el movimiento de la cámara de una sola imagen
Echale un vistazo. Y echa un vistazo a los documentos recientes que lo hacen referencia.
