¿Cuáles son las cosas más difíciles o problemáticas para los ingenieros de Machine Learning / Deep Learning?

La recopilación de buenas muestras / datos, y hacer un preprocesamiento en ellos, si está buscando resolver un nuevo tipo de problema, es una tarea bastante difícil. Más aún si eres un lobo solitario.

A menudo se pasa por alto. Pero, crear premisas para el área del problema real es tan difícil como resolver el problema.

En su mayoría, este trabajo lo realiza un grupo de personas o una organización (podría ser una organización gubernamental o una universidad o una organización de investigación privada). Pero esos conjuntos de datos están disponibles solo para el tipo de problemas que les interesan. Una organización gubernamental puede divulgar su conjunto de datos públicos que contiene información sobre el clima, la población, los planes de bienestar y su alcance, etc. Una universidad podría tener conjuntos de datos que sus estudiantes Trabaja con frecuencia. Las organizaciones privadas pueden publicar conjuntos de datos en sitios de competencia como Kaggle para resolver sus problemas.

ImageNet obtiene sus casi diez millones de URL de imágenes anotadas a mano (de origen público) para que otros puedan trabajar en ellas y crear sus modelos. Y las imágenes se estandarizan a 227 × 227 píxeles si mi memoria funciona correctamente.

Pero si considera un investigador o un ingeniero que está trabajando para resolver un problema similar, sin este tipo de conjuntos de datos, el ingeniero difícilmente puede comenzar a trabajar en la solución más pronto. Además, si no tenemos suficientes datos a mano, dado que no tenemos mucha idea de cómo aprende un modelo de aprendizaje profundo, posiblemente aprenda a distinguir las condiciones climáticas con el color del cielo, mientras lo esperamos. aprender a distinguir entre un río y un estanque.

Tenga en cuenta que estamos buscando construir un algoritmo serio que pueda tratar de predecir los resultados de las encuestas electorales en un país como India, primero tendremos que recopilar los datos de resultados electorales disponibles públicamente que están en varios formatos durante los últimos años, luego los procesamos previamente. para que se vean similares y los normalice, descubra nuevos parámetros, como la relación de reputación general del candidato en cada circunscripción, el sentimiento de la gente en contra del partido titular, el ganador anterior, los aportes de otras predicciones de encuestas y sus índices de éxito de predicciones, aportes de otras encuestas / redes sociales para reflejar la mentalidad de las personas, etc.

O si buscamos predecir la presencia de enfermedades a partir de los datos de análisis de orina, entonces debemos visitar al menos un número razonable de laboratorios, convencerlos de que brinden datos de muestra para todo tipo de enfermedades sin información del paciente (ahora buena suerte con eso) , estandarizarlos, comprenderlos, etiquetarlos y normalizar las entradas.

Ahora podemos relajarnos y luego sentarnos a pensar en un algoritmo o arquitectura adecuados. Bienvenido a un nuevo mundo de problemas.

Cuando comenzamos nuestro viaje con Coseer, hacer que el aprendizaje profundo funcione en lenguaje natural fue una de las cosas más difíciles que tuvimos que hacer. Finalmente nos dimos cuenta de que esto no era escalable y pasamos a Calibrated Quantum Mesh, nuestro algoritmo que está escrito específicamente para lenguaje natural.