¿De qué maneras incorpora Snapchat el aprendizaje automático?

Snapchat utiliza el aprendizaje automático para sus filtros .

Entonces, ¿cómo funcionan los filtros de Snapchat?

  • El primer paso es detectar una cara . El programa ve una foto como un conjunto de datos para el valor de color de cada píxel individual. Pero, ¿cómo sabe qué parte de la imagen es una cara? Bueno, la pista busca áreas de contrastes, entre las partes claras y oscuras de la imagen. Al escanear repetidamente los datos de la imagen calculando la diferencia entre los valores de píxeles en escala de grises debajo de los cuadros blancos y los cuadros negros, el programa puede detectar caras.

  • Luego tiene que localizar los rasgos faciales . Según los patrones, lo hace con un ‘modelo de forma activa’: un modelo estadístico de una forma de cara que ha sido entrenado por personas que marcan manualmente los bordes de los rasgos faciales en cientos de imágenes de muestra. El algoritmo toma una cara promedio de esos datos entrenados y la alinea con la imagen de la cámara de su teléfono, ajustándola y girándola de acuerdo a donde ya sabe que se encuentra su cara. Pero no es un ajuste perfecto, por lo que el modelo analiza los datos de píxeles alrededor de cada uno de los puntos, buscando bordes definidos por el brillo y la oscuridad.

  • Luego, esos puntos se usan como coordenadas para crear una malla: una máscara 3D que puede moverse, rotar y escalar junto con su cara a medida que ingresan los datos de video para cada fotograma y una vez que tienen eso, pueden hacer mucho con eso. Pueden deformar la máscara para cambiar la forma de su cara, cambiar el color de sus ojos y los accesorios, y configurar animaciones para que se activen cuando abre la boca o mueve las cejas.

Así es como Snapchat incorpora el aprendizaje automático. Pero, ¿por qué pasar por todos estos problemas solo para darle a las personas una corona de flores virtual? Bueno, Snapchat ve una oportunidad de ingresos aquí. En un mundo inundado de anuncios, quizás la mejor esperanza de que las marcas tengan que hacernos ver sus anuncios … es ponerlos en nuestras caras.

Para obtener más información sobre las aplicaciones basadas en el aprendizaje automático , lea este artículo: Las mejores aplicaciones de aprendizaje automático: Ideas para aplicaciones móviles

Recientemente tuve la oportunidad de escuchar a Vitor Carvalho [1] sobre el trabajo que están haciendo en SnapChat Research. Muy brevemente, algunas cosas en las que están trabajando:

  • Detección de idioma para textos muy cortos.
  • Reconocimiento y desambiguación de entidades con nombre utilizando NER multimodal (sonido, texto, etc.)
  • Normalización de errores ortográficos de texto (representaciones fonéticas, ortográficas, semánticas)
  • Análisis de emociones (desde emojis hasta imágenes reales)
  • Reconocimiento de voz, música (localización de palabras clave)
  • Modelos de conversación neuronales personalizados [2]

Notas al pie

[1] Vitor Carvalho – Página de inicio (Vitor Rocha de Carvalho) ……………………………………………………………………………………………… ……………………………………………………………………………………. (Frecuentemente confundido con Victor Carvalho)

[2] http://www.cs.cmu.edu/~vitor/pap

Lo usan para filtros, eso es seguro.

Utilizan un algoritmo de aprendizaje automático creado por una empresa ucraniana que compraron por $ 150 millones. El algoritmo encuentra su rostro, detecta su boca, ojos, nariz, etc., localizando los rasgos faciales.

El algoritmo utiliza un modelo del rostro humano entrenado por muchas personas para seleccionar las características de otras imágenes.

Luego puede trazar su cara detrás de una malla, sobre la marcha.

Es bastante increíble.

Si quieres ver un gran video que lo explique:

Cómo funcionan los filtros de Snapchat • / r / MachineLearning

Debo señalar que hasta hace 10 años, este tipo de análisis de imágenes basado en el aprendizaje automático era prácticamente ciencia ficción. Las computadoras no fueron lo suficientemente rápidas.

PD: También hay mucho potencial espeluznante. Con este tipo de algo, cada vez es más fácil detectar e identificar a las personas que miran imágenes de la cámara en todo el mundo.

Snapchat usa algo llamado Oferta basada en objetivos (GBB). La opción, disponible para los vendedores que compran anuncios a través de la API de Snapchat, utiliza el aprendizaje automático para saber qué usuarios tienen más probabilidades de deslizar cierto tipo de anuncio.

Con las ofertas basadas en objetivos, los anunciantes pueden informar a Snapchat de cuándo su objetivo principal es aumentar los deslizamientos, tal vez para instalaciones de aplicaciones, vistas web o avances de películas, en lugar de centrarse únicamente en las impresiones. Luego pueden proporcionar un valor de cuánto creen que vale un deslizamiento, lo que permite a Snap optimizar automáticamente las ofertas y la entrega a un público objetivo que probablemente interactúe con el anuncio.

Si bien las campañas de GBB todavía se cobran por CPM, Snap dice que las campañas terminan siendo más efectivas.

Según Snap Inc., alrededor del 20 por ciento de los anunciantes ya usan GBB, y quienes lo usan han visto hasta un 40 por ciento de eficiencia mejorada en su costo por deslizamiento.

Souce: Snapchat está comenzando a utilizar el aprendizaje automático para mejorar la orientación de anuncios

Utilizan redes neuronales convolucionales para el trabajo de imagen si no me equivoco.