¿Hay investigadores tratando de entender cómo el cerebro humano construye la realidad visual en 3D y tratando de construir un sistema artificial inspirado en él?

Hay personas que trabajan en la segmentación de imágenes y luego también en la generación de representaciones del modelo 2.5 D o 3D de la instancia del objeto detectado dada una imagen 2D (o 1D si aplasta).

También sería útil analizar la topología computacional y los gráficos computacionales / gráficos de computadora. En cuanto a las direcciones futuras para la investigación, quizás sea prometedor encontrar una manera de mejorar las representaciones de imágenes 2D a modelos 3D mediante la construcción de redes neuronales que codifiquen mejor para comprender las transformaciones topológicas de los datos visuales.

Pero sí, este tipo de cosas ya existe en el campo del aprendizaje automático / inteligencia artificial / visión por computadora.

Sería interesante ver si podemos aplicar una red neuronal fuerte que realmente haga bien las transformaciones topológicas y la inferencia a otros tipos de conjuntos de datos.

También sugeriría mirar el documento de DeepMind “Un módulo de red neuronal simple para el razonamiento relacional”, principalmente porque es nuevo y fresco, pero también porque implica tener que razonar con formas tridimensionales dada una proyección 2D (imagen) de la escena.

Dicho esto, no estoy tan seguro de si se realiza un trabajo de aprendizaje profundo en el que los modelos 3D se usan agresivamente, pero estoy seguro de que hay → tal vez podría alimentar el modelo como una nube de puntos [x, y, z], o muchas secciones o proyecciones en 2D, o todas estas cosas → luego haga que la máquina trabaje y codifique cómo lo que ve como una imagen en 2D, tal vez con algún procesamiento para inducir la visión estéreo, se relaciona con el conjunto de 3D [x, y , z] puntos.

También sería bueno ver si dos (o muchas) cámaras serían suficientes para tener una red de aprendizaje de refuerzo para aprender una representación 3D de los datos por sí sola. Relacionadamente, las personas ya están estudiando el uso de redes neuronales para ayudar en las tareas de reconstrucción 3D intensivas de cómputo dado muchos cortes 2D, por ejemplo, en imágenes de crioEM o MRI, trabajo de CT.

¯ \ _ (ツ) _ / ¯

Las interfaces neuronales todavía están en refinamiento, sin embargo, los científicos han logrado avances al ilustrar redes tortuosas que se encuentran de forma innata dentro de los cerebros de la materia blanca y gris.

La visualización más elaborada del cerebro humano hasta la fecha

Los neurocientíficos plantan recuerdos falsos en el cerebro

Mapeando la conectividad del cerebro humano

Cuando intenté buscar en Home – PubMed – NCBI con la palabra clave “Brain 3D visual reality” en los últimos 5 años, se mencionan 27 títulos al respecto. Creo que deberías leer este artículo:

Facilidad de uso de señales visuales aumentadas tridimensionales entregadas por gafas inteligentes en la marcha (congelación) en la enfermedad de Parkinson.