¿Cuáles son algunos proyectos interesantes y ‘factibles’ basados ​​en Leap Motion en los que se podría trabajar?

Soy dueño de un Leap Motion, lo he estado usando durante algunas semanas y tengo algunas conclusiones sobre lo que este producto necesita para tener éxito.

Por un lado, el hardware es simple y efectivo, es el software donde entra la complejidad. Y en esta iteración actual, el software tiene muchos problemas cuando se trata de universalidad versus funcionalidad . Lo que quiero decir con eso es esto. El software hace todo lo posible para comprender el estado del dispositivo de entrada en todo momento: siempre está tratando de ver cuántos dedos hay, dónde están las palmas, cuál es la orientación y rotación de los dígitos en el espacio 3D, y dado que es Al hacer toda esta corrección sobre la marcha, significa que el conocimiento del dispositivo es muy limitado en el contexto de la función que está tratando de realizar . Solo proporciona datos, no trata de hacer que el software sea elegante. De acuerdo, eso no es fácil de analizar. Aquí hay un ejemplo.

Si extiende dos dedos en un “signo de paz”, apuntando directamente a su monitor, el Motion verá dos dedos en una V. Si gira lentamente la muñeca, la V comienza a converger, y en algún momento, el Motion confundirse en cuanto a si ve uno o dos dedos, y se “abrirá” entre ellos, antes de finalmente detenerse en un dedo porque el otro está oculto. Ahora, eso está bien desde una perspectiva instantánea, el dispositivo solo puede saber lo que ve. Pero el usuario y el software en realidad deberían ser conscientes del comportamiento de la rotación V, el software simplemente no podía interpretar lo que estaba viendo porque no estaba agregando contexto al comportamiento. En parte porque es muy difícil, pero también en parte porque es específica de la función (hacer V, girar la muñeca), y no todo el software para Motion esperaría que los datos se traduzcan de la misma manera.

Por ejemplo, lo mismo se puede decir para hacer un movimiento de ‘tijera’ con los dedos. Cuando sus dedos están juntos, el Movimiento olvida que en un momento tenía dos dedos, simplemente asume que ahora está mirando un solo puntero. No hay contexto para el cambio de estado. Y es probable que sea muy difícil distinguir entre hacer un movimiento de tijera y hacer un movimiento de torsión en V, incluso con el reconocimiento espacial binocular, y por lo tanto tratar de escribir una función genérica para interpretar uno o sería un fracaso.

¡A no ser que! Es decir, si el software decía específicamente “Haga una V y gire la muñeca”, y ve datos representativos de eso a través del Movimiento, puede inferir que el usuario está haciendo el comportamiento que el software le ha indicado, y puede reaccionar más específicamente porque ahora tiene contexto. Seguro que el usuario podría engañarlo haciendo un efecto de tijera, pero el software debería estar menos preocupado porque los usuarios encuentren formas de engañar al software, y más sobre proporcionar la mejor experiencia para las personas que usan el método de entrada según lo previsto.

¡Entonces, para volver a responder la pregunta en cuestión!

Si tuviera que programar algún software para el Leap, escribiría algunos algoritmos específicos de la aplicación en su motor de detección para que los usuarios no se sintieran tan frustrados por las aplicaciones que parecen comportarse de manera errática cuando intentas usar tus manos. Se requerirá que el motor haga una buena cantidad de predicciones, memoria contextual, aprendizaje e incluso suposiciones. Puede requerir que la universalidad de Motion disminuya para aplicaciones particulares, es decir, debe usarla de una manera específica. Pero si eso aumenta la precisión del producto, será necesario antes de que haya una aplicación asesina que pueda usar el controlador de movimiento con un margen de error más estrecho.

La buena noticia es que esta es toda la arquitectura de software, por lo que espero que en los próximos 2 a 5 años, alguien realmente experto en hacer que este dispositivo funcione de manera efectiva se lo tome en serio, y mi inversión de $ 80 dólares en este revolucionario hardware ganó ‘ t se estanca porque el software de entrada todavía tiene una crisis de identidad.

Editar: Debo agregar que en realidad ya hace una buena cantidad de predicciones de contexto, supone que tiene manos con forma humana, por ejemplo, y no patas de perro. Los desarrolladores de aplicaciones deben llevarlo aún más lejos para que puedan tener gestos de entrada contextuales para sus programas que sean inconfundibles.

¡Hay muchos! Estos son solo los 3 mejores de la competencia de desarrolladores 3D Jam del año pasado:

A bordo del espejo. Una odisea que dobla el tiempo y te permite ver el pasado y el futuro.
Ingrávido. Una experiencia meditativa que te lleva a una estación espacial remota.
Mundo de Comenio. Una demostración educativa que te permite desmontar un esqueleto, tomar una célula sanguínea y más.

Puedes encontrar más en la galería de desarrolladores de Leap Motion: Galería | Desarrolladores de Leap Motion

Recientemente, Elon Musk reveló y demostró cómo está usando Leap Motion junto con otros sistemas de Realidad Virtual como Occulus Rift combinado con impresión 3D para desarrollar piezas de cohetes usando solo gestos con las manos.

Aquí está el video:

Aunque no es posible diseñar la parte completa solo con gestos con las manos utilizando este sistema, demuestra de manera pequeña lo que se puede lograr con el controlador LeapMotion y cómo puede revolucionar la industria del diseño y la fabricación.

XING: The Land Beyond es un juego de aventura en primera persona ambientado en el más allá.

http://xingthegame.com

He tratado de encontrar posibles usos o casos de uso, pero no veo que vaya más allá de los juegos o las simulaciones interactivas como lo señaló Daniel. No he encontrado a nadie que lo esté empujando más allá de eso.
Además, no creo que pueda usarse durante largas horas, simplemente porque uno se cansa agitando las manos en el aire durante mucho tiempo, al menos lo hago, lo que sería un impedimento adicional para cualquier uso práctico de largo alcance. Sin embargo, me gustaría que se demuestre que es incorrecta.

Controles de movimiento para simulaciones interactivas y juegos. Para eso está diseñado.

No estoy tan impresionado con eso, no espero ver nada realmente tan bueno.

Creo que lo verá ampliamente utilizado en aplicaciones que requieren quitar las manos del teclado para ejecutar una acción. También puede utilizar cadenas de comandos con gestos con las manos.

More Interesting

¿Completar el curso en línea TensorFlow me ayudará a conseguir un concierto en los campos del aprendizaje profundo / automático?

¿Son los sistemas de IA de alguna manera estúpidos? ¿Cómo define la estupidez artificial?

¿Cuál es el algoritmo utilizado por los monstruos perseguidores en Pac-Man?

¿Podría alguien darme una visión general del mercado de inteligencia artificial para ventas y CRM?

¿Qué significa el peso en términos de redes neuronales?

¿Puede una máquina construida por humanos ser más inteligente que los humanos? ¿Pueden comprender niveles de intelecto superiores a los que poseen ellos mismos?

¿Cómo se usan las máquinas de estado finito para modelar el lenguaje?

Cómo hacer una IA que juegue un juego

¿Existe alguna investigación sobre la mutación de una arquitectura de red neuronal durante el entrenamiento?

¿Es cierto que comprender la inteligencia artificial es una forma de estudiar la inteligencia general?

¿Es posible hacer el reconocimiento de voz de otras maneras aparte del reconocimiento de patrones, o podemos hacerlo mejor? Si la respuesta es sí, ¿cómo?

Visión por computadora: ¿Cuáles son los trabajos más interesantes de CVPR 2012?

Con la IA / robots programados para hacer trabajos y las tiendas físicas disminuyendo, ¿podríamos lograr el futuro distópico del que solo hemos leído?

¿Por qué es tan difícil hacer un traductor universal?

¿Cuáles son las principales comunidades y sitios web para aprender sobre robótica?