¿Qué aplicaciones prácticas ve para ejecutar los modelos TensorFlow en un teléfono inteligente?

Hay muchas aplicaciones interesantes, principalmente relacionadas con la detección de objetos a través de la cámara, pero también con el análisis de audio:

  • Puede colocar un teléfono inteligente en su ventana con una cámara mirando el camino de entrada y entrenar a un modelo para que reconozca su automóvil y sus placas para que se abra automáticamente la puerta cuando se acerque
  • Del mismo modo, puede entrenarlo para contar la cantidad de automóviles o personas que pasan
  • Se puede entrenar para reconocer y enumerar las placas de todos los autos que pasan y despedir a ese tipo que ha estado haciendo esto manualmente (parte triste de la historia 🙁)
  • Imagine una aplicación que puede decirle, después de tomar una foto de su cesta de la compra, cuánto pagaría por la misma en varias tiendas diferentes (una gran idea en realidad, técnicamente posible, pero requiere mucho esfuerzo)
  • En un futuro, puedo imaginar aplicaciones que puedan diagnosticarle el oído, la garganta, la piel, etc. simplemente mirándolo con la cámara. Después de todo, un médico que ingresa a su casa hace su diagnóstico principalmente en base al análisis de imágenes
  • Podría analizar el sonido del motor de su automóvil y diagnosticar su estado

El cielo es el límite 🙂

No depende de un backend en todo momento, lo que puede ser beneficioso para (1) disminuir la latencia en general, y en particular si está procesando datos grandes (por ejemplo, imágenes), (2) para que su aplicación funcione sin conexión a Internet, (3) para crear aplicaciones más conscientes de la privacidad, ya que sus datos permanecen en su teléfono. Tenga en cuenta que con respecto a esto último, hay formas de enviar datos al backend para ML mientras se preserva la privacidad, pero en principio obtiene todos los beneficios.

Esto supone que puede descargar un modelo entrenado o puede entrenar un modelo con los datos potencialmente limitados en su dispositivo.

En lugar de decir algunas de las muchas aplicaciones posibles, aquí hay una analogía para imaginar aplicaciones razonablemente azules. ¿Qué se hace actualmente en la web en JavaScript del lado del cliente en lugar de la computación en el servidor? La elección de ejecutar modelos de aprendizaje automático en servidores remotos o localmente en el teléfono se enfrentará a muchas de las mismas consideraciones de ingeniería: ¿necesita operar sin conexión, las latencias de red son un gran problema, es un entorno rico y se necesitan versiones de software específicas? ¿O trabajará en entornos de clientes diversos y recursos más bajos?

El grupo obvio de aplicaciones que viene a la mente es el de las aplicaciones de visión por computadora. Piénselo, tiene un procesador decente con una buena cámara en la mano con acceso rápido a la web: el cielo es el límite.

Y con el lanzamiento de TensorFlow Lite, será mucho más fácil ejecutar modelos de aprendizaje profundo en su teléfono, mientras que en el pasado la única opción real era construir un servicio web y acceder a los modelos de aprendizaje profundo desde un teléfono haciendo solicitudes web.

Eche un vistazo a la aplicación Ridiculous Not Hotdog [1] que ha causado un gran impacto recientemente, aunque no es mucho más que un poco divertido, muestra lo fácil que es usar el poder del aprendizaje profundo en una aplicación.

Notas al pie

[1] La ridícula aplicación Not Hotdog de ‘Silicon Valley’ es real

Imagine que Siri puede procesar su discurso sin conexión a Internet, o una aplicación que reconoce y clasifica instantáneamente los rostros en sus imágenes

More Interesting

¿Cuáles son las mejores herramientas para la minería de datos en Internet? ¿Qué debo usar para configurar un evento automático / alerta de tendencia?

¿Debo usar bibliotecas de python como Scikit-learn para ML que tienen algoritmos estándar implementados (considerando que soy un novato en el aprendizaje automático)?

¿Cómo cambiará Google Brain el futuro de la búsqueda?

¿Cuál es la función de transferencia en redes neuronales artificiales?

Dada una serie de datos de tiempo para la construcción de modelos, ¿cómo divido el conjunto de datos en muestras de capacitación y validación?

Serie temporal: ¿Existe un enfoque para la detección de anomalías que no se base en datos de entrenamiento anteriores?

¿El ajuste fino funciona mejor cada vez que entrenar desde cero?

¿Cuál es el propósito de usar la variable slack en SVM?

¿Qué título debo tomar para entrar en la investigación de Deep Learning? (Graduado de CS)

¿Siguen siendo relevantes los enfoques simbólicos de IA después de los recientes éxitos del aprendizaje profundo?

¿Es posible comenzar la investigación académica en matemáticas / aprendizaje automático sin la ayuda de un asesor? Está ocupado con su propuesta de subvención.

Cómo expresar un modelo de árbol de decisión en modelos gráficos

¿Es fácil entrenar un modelo de red neuronal profunda desde cero usando Keras?

Aprendizaje profundo: ¿Por qué la función energética de la máquina de Boltzmann restringida se define de la manera en que se define?

¿Cuál sería un buen proyecto de PNL?