¿Qué es incrustar | espacio incrustado | ¿Incorporación de características en arquitecturas neurales profundas?

Incrustar significa convertir datos en una representación de entidad donde ciertas propiedades pueden representarse por nociones de distancia. Por ejemplo, un modelo entrenado en señales de voz para la identificación del hablante puede permitirle convertir un fragmento de voz en un vector de números, de modo que otro fragmento del mismo hablante tenga una pequeña distancia (por ejemplo, distancia euclidiana) del vector original. Alternativamente, una función de incrustación diferente podría permitirle convertir la señal de voz en función de la palabra que se dice en la señal. Por lo tanto, obtendrá una pequeña distancia euclidiana entre las representaciones codificadas de dos señales de voz si se pronuncia la misma palabra en esos fragmentos. Una vez más, es posible que simplemente desee aprender una incrustación, que representa el “estado de ánimo” de la señal de voz, por ejemplo, “feliz” frente a “triste” frente a “enojado”, etc. estado de ánimo y viceversa.

O, por ejemplo, las incrustaciones de word2vec “proyectan” una palabra en un espacio en el que las distancias euclidianas entre estas palabras representan similitud semántica (de nuevo la incrustación ~ le proporciona un vector de números para una palabra dada). Entonces, si toma la representación word2vec de “Alemania”, resta “Berlín” y agrega el resultado a “Francia”, obtendrá un vector que está muy cerca en el espacio euclidiano de la incrustación de “París”.

Del mismo modo, en aplicaciones en las que necesita clasificar en cientos de miles o millones de clases, por ejemplo, reconocimiento facial, una forma común es utilizar técnicas de “aprendizaje métrico” (a menudo CNN siameses con la llamada pérdida de contraste o triple), que en la prueba ¡time te permite usar las técnicas de Vecino más cercano en la representación vectorial de caras!

Word2vec – Wikipedia

http://faculty.ucmerced.edu/mhya…

Revise la opinión del Dr. Zia sobre esta pregunta. Es muy preciso, exacto y bien explicado.

Por lo tanto, incrustar es esencialmente proyectar sus características en un espacio dimensional más alto dependiendo de la tarea que desea lograr, de modo que las características que son más o menos parecidas tengan una pequeña distancia entre ellas en el espacio incrustado. Esto permite que el clasificador aprenda mejor las representaciones y de una manera más completa.

Por ejemplo, si proyecto dígitos y alfabetos en inglés en algún espacio incrustado [1], entonces es más probable que los dígitos se encuentren cerca uno del otro en un grupo, mientras que el carácter especial en otro, mientras que los alfabetos normalmente deberían estar en un grupo separado [ 2]

Observe cuán pequeñas y mayúsculas están cerca una de la otra.

Gracias por leer.

Aclamaciones

Notas al pie

[1] Aprendizaje profundo, PNL y representaciones

[2] La respuesta de Zeeshan Zia a ¿Qué es incrustar? espacio incrustado | ¿Incorporación de características en arquitecturas neurales profundas?

De acuerdo, entonces, en el aprendizaje profundo, una incrustación generalmente se refiere a una representación vectorial continua y de longitud fija de algo que de otro modo sería difícil de representar (ver incrustaciones de palabras).

No estoy exactamente seguro de a qué se refiere en “espacio incrustado” y “espacio de funciones”. En general, se utilizan para referirse al espacio real de las características en capas intermedias de redes profundas.

More Interesting

¿Qué debo hacer para poder contribuir al campo de la visión por computadora y trabajar en Google en el futuro?

¿Qué tipo de habilidades necesitarás para ingresar al aprendizaje profundo?

Necesito analizar resúmenes de texto en lenguaje humano e identificar los temas mencionados en ellos. ¿Esto cae bajo el reconocimiento de la entidad nombrada?

¿Qué sucede si hacemos que cada unidad de filtro o núcleo en una capa CNN dentro de una red neuronal profunda tenga diferentes tamaños de ventana pero el mismo número de parámetros de peso (lo que resulta en granulado grueso)? ¿Podría conducir a un efecto contextual?

¿Qué área de IA y aprendizaje profundo es útil para vehículos autónomos?

¿Cuál es mejor, el modelo de regresión o ecuación estructural, y por qué?

Cómo entrenar una red neuronal para detectar un objeto en un video que no estaba presente en el cuadro anterior

¿Cuáles son las principales áreas de la investigación bioinformática actual?

¿Cuáles son los pros y los contras de Spark MLlib vs. H2O?

¿Qué es la selección de variables en bloques cuando se hace un análisis de regresión?

En el aprendizaje por refuerzo, ¿cuál es la diferencia entre una función de valor de estado V (s) y una función de valor de acción de estado Q (s, a)?

¿Existe alguna base biológica para las redes de confrontación generativas?

¿Cuál es su proceso para diseñar funciones de pérdida para problemas de Machine Learning?

¿Existen métodos de aprendizaje automático además de los que requieren redes neuronales?

¿Cómo se entrenan las redes neuronales de factor latente?