¿Cómo se implementa el aprendizaje profundo en Amazon Go (tiendas de comestibles especiales en las que recoges lo que quieras y luego te vas sin esperar a pagar)?

Amazon no ha publicado los detalles de la tecnología en torno a Amazon Go. Por lo tanto, todo lo que podemos hacer es hacer buenas suposiciones sobre cómo se están desarrollando aquí la visión por computadora y los sistemas de aprendizaje profundo.

0:01 Bob escanea su teléfono. Amazon Go ha identificado a Bob y eliminará el producto que recoge. Le facturaría a Bob usando un sistema de pago previamente establecido, como Google Wallet o tarjetas de crédito en la cuenta de Bob en Amazon.

Una cosa importante estaría sucediendo. Amazon Go identifica a Bob con las cámaras de la tienda. Amazon Go probablemente toma varias fotos de Bob con múltiples cámaras y crea un mapa de características utilizando algunas redes profundas estándar, como Resnet, GoogLeNet o VGG. Amazon Go ahora sabe cómo se ve Bob.

Alternativamente, Amazon Go también podría rastrear a Bob todo el tiempo en la tienda. Hay formas fáciles de hacer eso. Pero rastrear muchos Bobs y Alices puede ser costoso. Entonces, ignoraremos este enfoque.

0:05 Bob recoge el producto. Amazon Go solo necesita rastrear esta parte. El reconocimiento de acciones está bien establecido en la visión por computadora, por lo que la acción de recoger podría reconocerse fácilmente y desencadenará el registro del producto. Un ingenuo algoritmo de registro de productos coincidirá con el mapa de características de Bob calculado anteriormente e identificará que Bob está recogiendo el producto. Las cámaras pueden ayudar aún más a localizar el producto exacto que se selecciona.

0:48 El registro del producto es una pieza importante aquí. Implica principalmente contar productos cuando los productos se recogen o devuelven al estante. Contar productos en el estante sería algo difícil para una cámara debido al desorden y las oclusiones. Pero, una cámara detrás del estante, como la toma anterior, puede contar la cantidad de productos elegidos y reemplazados. También puede identificar a Alice recogiendo el producto. Luego puede coincidir con Alice y registrar el producto en su cuenta.

1:25 saliendo. Lo tienes. Haga coincidir a la persona nuevamente con su mapa de características previamente calculado.

Es posible que haya otros sistemas en juego aquí que solo cámaras / visión por computadora. Los estantes podrían tener sensores infrarrojos para el registro de productos. El seguimiento podría estar utilizando el GPS del teléfono y las cámaras de la tienda para que coincidan con Alice y Bob en el lugar donde se recoge el producto. Los productos pueden tener etiquetas RFID que activan el registro al salir de la tienda. Sin embargo, esta respuesta fue escrita desde una visión pura de computadora y una perspectiva de aprendizaje profundo.

Engañar a Amazon Go: (no estoy respaldando esto)

Esto ayudaría a señalar exactamente la naturaleza de la tecnología de Amazon Go. Comente si prueba uno de estos o algo propio.

• ¿Qué pasa si me quito la chaqueta en el medio de la tienda? ¿Confundirá Amazon Go sobre mi identidad? ¿Si hago una expresión inusual frente a la cámara del estante? Usa una máscara? 😉
• ¿Devolver productos a diferentes estanterías? ¿Me cobrarán?
• Gracioso Me llevo una botella de jugo vacía. Tomo un jugo fresco del estante y lo reemplazo con una botella vacía. ¿Cómo reaccionará Amazon Go?
• ¿También reconocería hacer trampa / robar en tiendas?

Muchas buenas respuestas aquí. Muchos de ellos especulan sobre el uso de la visión por computadora para asociar al comprador con el producto recogido en la isla. Creo que esto podría ser muy desordenado. La IA y las cámaras solo pueden hacer tanto (y no un poco más) como lo que podríamos lograr si un empleado sigue a cada comprador. Y sabemos que incluso en este escenario es difícil para ese empleado hacer un seguimiento de lo que el comprador ha recogido (por ejemplo, ¿qué pasa si su vista se bloqueó cuando es importante?)

Dicho esto, mi teoría es

Etiquetas RFID pasivas

Estos podrían integrarse en el embalaje del producto. Estas etiquetas absorben la radiación de un lector cercano (teléfono en este caso), se energizan a través de una antena y transmiten su código único. El lector (teléfono) lee ese código e identifica el producto.

Ahora, ¿cómo sabe el teléfono si un producto dentro del rango está en el pasillo o en la cesta del cliente? Aquí viene la serie temporal de la distancia (teléfono-producto). Si esta métrica es más o menos constante, hasta el punto de salida de la tienda, Amazon sabrá que el cliente está comprando el producto y lo registra. Por supuesto, los algoritmos de aprendizaje profundo (e incluso las imágenes de las cámaras) podrían usarse en esta métrica junto con cualquier otra característica para hacer esto más riguroso. Esta estructura también podría usarse para evitar que el teléfono de otro comprador registre el producto que recogió, suponiendo que este otro comprador no lo etiquete junto con usted.

Las RFID pasivas son súper baratas en pocos centavos, disponibles en Amazon

Amazon.com: UHF ISO18000-6C EPC Class1 Gen2 860-960Mhz Tarjeta RFIDtag pasiva de largo alcance 50 piezas: cámara y foto

No es fácil para todos entender qué es el aprendizaje profundo y cómo se usa en Amazon Go.

Aquí hay un artículo que escribimos en Kantify para explicar qué es y cómo se puede usar.

Amazon Go: ¿Por qué el aprendizaje profundo?

Diciembre de 2016

Amazon Go se anunció el lunes 5/12, no solo como una nueva experiencia de compra, sino también como un lanzamiento tecnológico. Amazon promete ofrecer una tienda donde puede comprar sin colas de pago y sin necesidad de escanear su producto.

En su lanzamiento, Amazon dice: “Nuestra tecnología Just Walk Out detecta automáticamente cuándo se toman o devuelven los productos a los estantes y los rastrea en un carrito virtual. Cuando haya terminado de comprar, puede salir de la tienda. En breve luego, cargaremos su cuenta de Amazon y le enviaremos un recibo “. Una afirmación audaz de hecho. Para lograr esto, Amazon utiliza una combinación de algoritmos de aprendizaje profundo, sensores de fusión y visión por computadora.

Nos sumergimos en una parte de las tecnologías que mencionan: Algoritmos de aprendizaje profundo y por qué Amazon los está utilizando.

¿Qué son los algoritmos de aprendizaje profundo?

El aprendizaje profundo es un subcampo de inteligencia artificial que ha sido influenciado por el funcionamiento del cerebro. Si bien los modelos simples que imitan la forma en que funcionan las neuronas en nuestro cerebro han existido desde mediados de 1900, es relativamente reciente que hemos comenzado a crear varias capas de neuronas artificiales interconectadas (de ahí el ‘Profundo’ en el aprendizaje profundo) para procesar datos.

Para hacer un buen uso del aprendizaje profundo, hay dos requisitos previos: en primer lugar, grandes conjuntos de datos, como los generados por imágenes (por ejemplo, búsqueda de imágenes de Google), video o audio (por ejemplo, automóviles sin conductor), o comportamiento de navegación en sitios de Internet (por ejemplo, e -comercio de datos de navegación del sitio web). En segundo lugar, requieren una potencia de cálculo intensa, típicamente distribuida (en diferentes computadoras).

¿Son comunes los algoritmos de aprendizaje profundo?

Fuera de los gigantes de la tecnología y la academia, los algoritmos de aprendizaje profundo aún son relativamente raros, en primer lugar debido a la potencia informática requerida, en segundo lugar debido a la escasez de conjuntos de datos grandes y bien estructurados, y finalmente debido a los obstáculos técnicos para implementar cálculos relativamente complejos a escala .

Sin embargo, una serie de tecnologías (Tensorflow, Theano y Keras, por nombrar algunas) han hecho que el aprendizaje profundo sea significativamente más estable y accesible fuera del ámbito académico. Además, la creciente disponibilidad de tecnologías de sensores baratas y datos de tráfico web ha generado un gran crecimiento en los datos. Hoy, vemos un número cada vez mayor de aplicaciones comerciales de aprendizaje profundo, lo que demuestra que la tecnología, aunque joven y aún en crecimiento, se ha vuelto útil en las empresas.

Sin embargo, el aprendizaje profundo no es útil en todos los entornos y conlleva desafíos: en primer lugar, es muy difícil entender cómo un algoritmo de aprendizaje profundo está tomando decisiones. Esto significa que no son adecuados cuando la pregunta “¿Cómo tomamos esta decisión?” importa tanto como la decisión misma. En segundo lugar, debido a esta naturaleza de “caja negra” del aprendizaje profundo, es difícil de entender si el algoritmo no toma decisiones espurias basadas en problemas con los datos que se utilizan para enseñar el algoritmo. El aprendizaje profundo, como tal, todavía requiere mucho ajuste.

¿Por qué Amazon Go utiliza algoritmos de aprendizaje profundo?

Independientemente de la madurez y los desafíos de Deep Learning, Amazon tiene dos razones convincentes para usar estas técnicas:

• Retorno de datos : dentro de las tiendas Amazon Go, Amazon está listo para comenzar a recopilar grandes conjuntos de datos: videos, sensores de movimiento, rastreadores RFID y mucho más, para saber qué cliente ha tomado qué artículo. Como dijimos anteriormente, los algoritmos de aprendizaje profundo son particularmente adecuados para manejar este tipo de tareas.
• Reputación : Amazon se está centrando aún más en la Inteligencia Artificial como motor de valor en sus operaciones. Recientemente formó una asociación con IBM, Facebook y Google para desarrollar aún más la Inteligencia Artificial. Amazon Go es una ventana perfecta de un caso de uso de la capacidad de inteligencia artificial de Amazon y el liderazgo tecnológico en el mundo minorista. Invertir en aprendizaje profundo les permite atraer aún más investigadores talentosos para ayudarlos a desarrollar las tecnologías clave del futuro.

¿Qué es lo que Deep Learning permite que Amazon haga?

Sin lugar a dudas, Deep Learning, junto con otros algoritmos, se utilizará para hacer algo más que simplemente automatizar el pago. Enumeramos algunas de las razones principales por las que creemos que Amazon continuará invirtiendo en IA en la tienda:

Exhibición de productos basados ​​en datos : Amazon podrá rastrear los movimientos de los consumidores en la tienda. La Inteligencia Artificial podrá aprender de los flujos de clientes cómo mostrar los productos en qué lugar para aumentar el tamaño del carrito y maximizar las ventas.

Mejor renovación del surtido : Amazon recopilará datos sobre cuándo un artículo es tomado por un cliente. Los algoritmos de aprendizaje profundo pueden ser capaces de definir cuáles son los mejores tiempos, volúmenes y elementos para la renovación del surtido, a fin de disminuir los costos y garantizar la satisfacción permanente del cliente.

Personalización extrema de servicios y ofertas : con el seguimiento en la tienda, Amazon podrá dominar el minorista omnicanal. Al tener datos no solo sobre sus clientes como visitantes de la web, sino también como visitantes de la tienda, Amazon podrá ajustar a un nivel muy granular cómo se dirige a sus clientes.

Reduzca los costos y mejore la calidad : las colas de pago suelen ser una de las principales fuentes de costos para los minoristas y una fuente de frustración para los clientes. Al aplicar AI, Amazon podría simplemente deshacerse de ambos de una sola vez.

Después de sus librerías y tiendas emergentes, Amazon está entrando en el comercio minorista tradicional en la tienda. La inversión en Amazon Go parece demasiado importante para pensar que esto podría ser solo un ejercicio de marca o una prueba.

Después de haber revolucionado el mundo del comercio electrónico, parece que Amazon ahora está lista para interrumpir el comercio minorista en la tienda.

Ségolène Martin
Socio Director / Kantify

Nuestros otros artículos sobre IA para minoristas también se pueden encontrar en línea.

El anuncio intenta mostrar que Amazon usa un sistema realmente de alta tecnología y genial para rastrear a cada cliente en tiempo real.

Pero esto es simple BS. El costo de tantas cámaras avanzadas de detección de rostros repartidas por toda la tienda junto con una serie de sensores para ver qué artículo se recoge no haría que el proyecto sea económicamente factible.

¿Entonces cómo lo hacen?

Estos dispositivos vienen a rescatar:

Detectores antirrobo

Estos ingeniosos dispositivos funcionan en radiofrecuencia para detectar artículos y se utilizan en muchos países del mundo para atrapar ladrones de tiendas.

Entonces, cuando alguien compra en la tienda Amazon GO y sale, pasando por uno de estos,

Las ondas de radiofrecuencia se utilizan para activar la RFID (tarjeta de identidad de radiofrecuencia), que puede integrarse en el código de barras de los artículos, para enumerar automáticamente los artículos en el carrito del comprador y cobrar al cliente la cantidad; ¡Todo esto sin interacción humana y sin esfuerzo del cliente!

Si está ansioso por saber más sobre el funcionamiento de las RFID, lea esto …

Si camina por la puerta sin pagar por algo, las ondas de radio del transmisor (ocultas en una de las puertas de la puerta) son recogidas por la antena metálica enrollada en la etiqueta. Esto genera una pequeña corriente eléctrica que hace que la etiqueta transmita una nueva señal de radio propia a una frecuencia muy específica. El receptor (oculto en la otra puerta) capta la señal de radio que transmite la etiqueta y hace sonar la alarma. ¿Por qué no suena la alarma cuando pagas por algo? Es posible que haya notado que el asistente de pago pasa su artículo a través de un dispositivo de desactivación (a veces está incorporado en el mecanismo de escaneo de código de barras ordinario, y a veces está completamente separado). Esto destruye o desactiva los componentes electrónicos en la etiqueta de RF para que ya no capten o transmitan una señal cuando atraviesas las puertas, y la alarma no suena.

¿Cómo funcionan las etiquetas RFID y RF?

El video dice “Procesamiento de imágenes”, “Aprendizaje profundo”, “Fusión de sensores”. Creo que eso lo resume todo.
Pero aquí está mi suposición sobre esto.
1. Sensores en el teléfono inteligente => Su ubicación en la Tienda en cualquier momento

2. Su ubicación en la tienda => Probabilidad de que esté cerca de algún producto

3. Peso total de los productos en su carro => Puede usarse para verificar qué resultados del algoritmo ML (o) incluso encontrar la lista correcta de predicciones que coincida con el peso. Si las personas no están usando ningún carro inteligente, podemos ignorar esto (aunque no veo un carro en el video)

4. Procesamiento de imagen => Probabilidad de que haya movido el producto de la tienda a la mano durante un TimeRange

5. Procesamiento de imagen => Probabilidad de que el producto vuelva a almacenarse durante un TimeRange

6. ¿Alguna vez leyó sobre el reconocimiento de la actividad humana a través de sensores móviles? Usando Gyrometer, el acelerómetro puede encontrar “con precisión” si está corriendo, caminando o levantando la mano o estando abajo, etc. – Esto puede usarse nuevamente para hacer predicciones sobre lo que estaba tratando de hacer en un momento en particular – Probabilidad de que usted levantó la mano o la dejó caer, se inclinó o simplemente caminó.

7. Procesamiento de imagen => Rastrea un producto cuando comienza a aparecer en el espacio del callejón (y no en el estante)

8. Un clasificador que toma todas estas entradas desde arriba (es decir, procesamiento de imágenes, sensor, su ubicación, ubicación del producto en el callejón, etc.) y dice si ha tomado un producto o no.

Dicho esto, se puede hacer un procesamiento de imagen realmente inteligente, combinando las señales del sensor en su teléfono inteligente. Por ejemplo, para el procesamiento de imágenes Kickstart solo durante el tiempo que el sensor sugiere que dejó de caminar y que está cerca de un producto y que movió nuestra mano o cualquier otra parte del cuerpo. De esta manera, se puede reducir la gran cantidad de cálculo.

¿Su negocio necesita terminar claramente efectivo en el reconocimiento facial? Etiquetado de imagen? ¿Interpretación? A medida que el ascenso de la informática distribuida ha permitido un manejo de la información más rápido y menos costoso, las organizaciones se apresuran a abordar la fuerza de la capacidad intelectual creada por el hombre, a través del aprendizaje automático, para comprender la información. Sea como fuere, con Amazon, Google, Microsoft, IBM y otros que ofrecen etapas de aprendizaje automático evaluadas correspondientemente para el esfuerzo, con frecuencia es difícil saber por dónde comenzar. Aquí hay un vistazo completo en el escenario de Amazon como una alternativa para su organización.

Amazon Machine Learning (AML) ofrece a las organizaciones una rampa de entrada simple y excepcionalmente adaptable para descifrar información. Bajo el paraguas de Amazon Web Services (AWS), impulsado en 2006, AML ofrece guías visuales y exámenes fáciles de realizar para que el aprendizaje automático esté abierto a los ingenieros sin una base de ciencia de la información, utilizando una innovación similar que llena los cálculos internos de Amazon. Requiere poco en cuanto a equipamiento o programación de riesgo, y tiene una demostración de compensación sobre la marcha. El objetivo es ayudar a las organizaciones a fabricar modelos de aprendizaje automático sin crear el código ellos mismos.

Una vez que se configuran los modelos, puede utilizar AML para “adquirir pronósticos para su aplicación utilizando API básicas, sin implementar un código de era de expectativa personalizado, ni tratar con ninguna base”, según lo indicado por Amazon. La etapa puede “producir miles de millones de expectativas día a día y servir esos pronósticos progresivamente y con un alto rendimiento”, dijo la organización.

El miércoles, AWS hizo algunas declaraciones enormes con respecto a sus ofertas en la nube, en su reunión anual, re: Invent. Presenta tres nuevas administraciones de IA: Amazon Rekognition, que puede realizar reconocimiento de imágenes, clasificación y examen facial; Amazon Polly, una profunda administración del contenido orientado al aprendizaje (TTS); y Amazon Lex, un programa característico de reconocimiento de dialecto y discurso.

Swaminathan Sivasubramanian, administrador general de AWS, dijo que necesita “diseñadores para fabricar otra clase de usos” que puedan verlos, escucharlos y ayudarlos a reunirse. “Probablemente transmitiré una máquina para averiguar cómo cada ingeniero de AWS”, dijo.

Otra pieza del objetivo central de Amazon, dijo Sivasubramanian, es “ayudar a los clientes a poner el conocimiento en el corazón de cada aplicación y negocio”.

El razonamiento para Amazon AI es “marcos de aprendizaje profundo excelentes y mejores en su clase con profunda utilidad”, incluido Sivasubramanian; También notó la importancia de la etapa de inteligencia artificial de Amazon y las administraciones coordinando muy bien con diferentes elementos de AWS.

Twilight AI, una organización tecnológica que ayuda a las organizaciones a ofrecer beneficios a los clientes mediante una etapa de IA llamada Chloe, utiliza AML para las operaciones comerciales. Nightfall AI trabaja con organizaciones en 20 países, en su mayor parte en negocios basados ​​en la web. La configuración, dijo el CEO Fabio Cárdenas, en general fue simple: “Elegimos Amazon ya que a partir de ahora teníamos aspectos destacados transmitidos en AWS, y en consecuencia la interoperabilidad era más fácil de lograr”. Y, a pesar del hecho de que no es de código abierto, Cárdenas mencionó que “algunas administraciones ofrecen planes complementarios que podrían utilizarse para realizar pruebas o para hacer situaciones esenciales”.

Cárdenas notó que AWS estaba detrás de diferentes contendientes en cierto punto, sin embargo, dijo que “es Amazon, y sabíamos que recuperarían el tiempo perdido”. Él ve a la oposición como positiva, en cuanto a expandir la naturaleza de las ofertas y mantener bajos los costos. La estructura de valor de AML, dijo, “depende de la potencia de procesamiento cada hora utilizada, y dependiendo de la administración se pueden aplicar diferentes gastos. La transferencia de información dentro o fuera de la nube es, además, un elemento para calcular los costos”.

No estoy seguro de cómo se implementa el aprendizaje profundo aquí. Una combinación de sensores, coincidencia de patrones de IA con reconocimiento facial, WiFi, RFID / GPS, sistema de transferencia electrónica de fondos y actualización / control de inventario instantáneo, parece funcionar necesariamente en armonía para permitir algo como esto. Si están usando el aprendizaje profundo, es entrenar una computadora para reconocer que alguien ha recogido un producto. Sin embargo, eso no requiere un aprendizaje profundo.

Este es el comienzo del fin del empleado de caja minorista, que representa 3,424,200 empleos solo en los EE. UU., A partir de 2014. (Fuente: Oficina de Estadísticas Laborales de EE. UU.) Tenga en cuenta que esta misma fuente espera que el número de dichos trabajos crezca a 2 % de tasa hasta 2024, lo que demuestra cuán desorientados pueden ser incluso los pronosticadores profesionales cuando se trata de desempleo tecnológico.

Una vez que el modelo de Amazon sea viable, ahorrando tiempo y dinero a los clientes, Amazon lo licenciará a muchos otros minoristas, aumentará sus ganancias, o alguien más ofrecerá un sistema similar con el mismo resultado.

Habrá, por supuesto, tiendas de lujo con empleados que son personas extremadamente hábiles, amables y conocedoras. Sin embargo, se enfrentarán a una competencia aún más feroz que ahora por esos puestos, que pagarán sorprendentemente mal.

Los grandes perdedores serán los empleados que se vuelven desempleados como empleados, y con enormes probabilidades de no encontrar otro trabajo, ya que lo mismo sucederá casi simultáneamente en una amplia franja de ocupaciones y profesiones. Pocos de ellos serán reentrenables para nuevos trabajos creados mediante la aceleración de la tecnología, porque la mayoría de esos trabajos requerirán habilidades matemáticas avanzadas que pocas personas poseen, e incluso entre esos trabajos un porcentaje creciente será realizado (en su totalidad o en parte) por IA.

Estas son personas reales; amigos, vecinos y familiares nuestros. Nadie tiene una buena solución para ellos que se esté discutiendo ampliamente. Un ingreso básico garantizado sería una solución si fuera políticamente viable. No lo es; al menos no en la mayoría de las sociedades actuales. (Explico esto aquí: ¿Ingreso garantizado de Mirage?)

He propuesto una solución que algunas personas importantes piensan que es viable. Se basa en la abundancia tecnológica sostenible, un nuevo tipo de sociedad modelo. Otros modelos similares también son posibles. Necesitamos comenzar a simular, probar, refinar y luego implementar al menos uno de estos modelos lo antes posible.

Como tecnólogos, muchas veces caemos fácilmente en la trampa de ¿Qué puede hacer mi dispositivo más nuevo? O, ¿qué puede hacer mi martillo hoy?

Amazon Go no es uno de estos casos. Hicieron un esfuerzo concertado para pasar de una tecnología comprobada (RFID, IoT) a algo nuevo y mejor, no porque hubiera nuevas tecnologías emergentes para ser utilizadas por su propio bien, sino porque había nuevas ideas que intentaban obtener más allá de alcance de los datos RFID.

Para lograr esta experiencia de compra “sin fricción”, Amazon Go llevó la aplicación de la tecnología mucho más allá de lo que BingoBox y los demás estaban haciendo.

No sabemos exactamente qué está utilizando Amazon Go, y hay muchas conjeturas por ahí. Amazon dice públicamente que están utilizando tecnología de fusión sensorial y algoritmos de visión artificial y aprendizaje automático. Creo que también es obvio que están usando más (tal vez el seguimiento de ubicación en el teléfono móvil, los códigos QR en la aplicación que se integran con la identidad existente de Amazon Prime, tal vez la tecnología de radar / lidar para determinar dónde se encuentra específicamente en la tienda).

Todo esto es fascinante para mí, porque queremos saber cómo lo están haciendo, y cómo podemos mejorarlo y hacerlo mejor y más rápido, para que más personas puedan adoptar estas tecnologías más fácilmente en lugar de incubarlas durante años. También me mostró que tenemos la oportunidad de converger y simplificar rápidamente estas diferentes técnicas de procesamiento de datos en una plataforma o en un tipo específico de SDK de aplicación para que más minoristas y compradores puedan beneficiarse.

Puedes leer más sobre mis pensamientos en mi página de Medium.

Gracias,

Conocer

¿Creo que este es el tipo de concepto similar que Meijer y Ahold han estado haciendo desde hace mucho tiempo en el mercado minorista y de abarrotes?

Todo lo que tienes que hacer es

1. Vaya al mercado e identifíquese con su identificación única o escanee un código de barras.
2. Compre escaneando el código de barras de los productos que desea comprar en su teléfono móvil. En el caso de las verduras y frutas, debe pesarlas y escanear el código de barras generado en la máquina de pesaje.
3. Si no sabe dónde está su producto, simplemente conéctese a la red de la tienda y busque el producto, y obtenga la información sobre qué estante y estante se coloca esta búsqueda de producto en particular.
4. Una vez hecho esto, presiona el botón de pago, que transfiere todos sus datos de compra del PAS al POS.
5. Usted va al mostrador de pago, muestra el móvil y escanea el código de barras, sus costos de compra se deducirán automáticamente de su cuenta y los bienes entregados a su hogar o puede elegir llevarlos usted mismo.

Esto tiene múltiples ventajas para Amazon:

1. Obtiene datos del usuario, es decir, sus patrones de compra, Amazon puede vender estos datos, procesar sus patrones de compra en su almacén de datos y darle cupones selectivos sobre los productos que probablemente comprará la próxima vez. Al igual que si compra Cola regularmente, Amazon podría ofrecerle una opción de descuento de cupón personalizada, para que compre otra botella o Cola o pepsi, y tenga ahorros.
2. También es probable que se agreguen sus datos personales, como la cantidad de personas en su familia, la cantidad de niños en su familia a los detalles existentes, para obtener descuentos más personalizados. Estos representan una gran cantidad de datos para Amazon y aumentan la base de usuarios, ya que es necesario tener una cuenta de Amazon para realizar estas compras.
3. Amazon también le mostrará los supermercados que lo rodean, rastreando su ubicación donde puede comprar con descuentos en productos específicos. Por ejemplo, mientras viaja o camina, si pasa por una tienda seleccionada, que tiene un descuento en el producto PEPSI que compra, se le notificará con una notificación push, lo que probablemente hará que el usuario vaya a comprar. Así se establece la interacción continua del usuario con Amazon.

Supongo que la visión artificial y el aprendizaje profundo son solo una pequeña parte de la ecuación.

Lo primero que noté en el video fueron los carriles en la entrada / salida con gruesas barreras blancas entre ellos. Estos pueden incluir escáneres RFID para escanear etiquetas pasivas adheridas a cada producto, que es una tecnología tan omnipresente que mi biblioteca local lo utiliza para rastrear libros individuales y evitar que las personas los roben. Cuando su teléfono y un paquete de artículos pasan juntos por ese carril, se le cobra por esos artículos, y los carriles separados permiten que varios clientes salgan al mismo tiempo sin correr el riesgo de confusión sobre de quién son los artículos.

Pero esto todavía no explica la imagen del carro de compras que se actualiza en tiempo real a medida que el comprador vuelve a colocar un artículo en el estante. Sin embargo, cuando miras de cerca, puedes ver que los estantes no son del todo comunes. Hay pequeñas particiones de plástico transparente entre artículos de diferentes tipos. Ahora, los artículos pueden ser rastreados por sensores ópticos básicos, y ya he visto esta tecnología en hoteles elegantes que le cobran por bocadillos tan pronto como los retira de una bandeja. Sin embargo, algunos elementos parecen estar apilados verticalmente a dos y tres de profundidad, lo que haría que la solución sea mucho más difícil.

Una cámara sobre el estante podría hacer el trabajo, pero una solución mucho más barata y robusta sería un sensor de peso debajo de cada sección del estante. Puede cuestionar la fiabilidad de este enfoque si ha utilizado un sistema de autopago, pero tenga en cuenta que en este caso el problema es mucho más simple porque todos los artículos en una sección del estante tienen el mismo peso. Todo lo que debe hacerse es tomar el peso total, dividirlo por el peso promedio del artículo y redondearlo. Conteo simple sin ninguna identificación.

En los casos en que esto sale mal, por ejemplo, cuando un cliente vuelve a colocar un artículo en el estante incorrecto, lo peor que puede suceder es que su carrito de compras en vivo esté equivocado, y tal vez haya alguna disposición para que el usuario retire los artículos manualmente, o el estante detecta un elemento extraño y adivina cuál, o un sistema de copia de seguridad de visión por computadora corrige el error. Tal vez hay lectores RFID que cuentan constantemente los artículos en cada región de la tienda, que podrán corregir el error tan pronto como el cliente se aleje del estante y el artículo permanezca en su lugar. En cualquier caso, al cliente no se le cobrará cuando salga porque los lectores RFID no verán el artículo saliendo de la tienda. Así es como diseñaría el sistema para obtener la máxima confiabilidad, con la visión por computadora tal vez sirviendo como un control adicional.

Pero estamos hablando de Amazon, por lo que debemos suponer que están jugando el juego largo; Es lo que hacen mejor. Verán, para entrenar un sistema de aprendizaje profundo que pueda administrar la tienda solo con cámaras, necesitarían dos cosas: una gran cantidad de videos de personas comprando y etiquetas para identificar exactamente quién tomó qué de los estantes y cuándo. La clave es tener suficientes datos para cubrir todas las cosas extrañas que las personas hacen en las tiendas. Simplemente no puede obtener eso sin una gran cantidad de recopilación de datos del mundo real, y dudo que Amazon tenga esto todavía. Pero con las cámaras y etiquetas RFID instaladas en sus tiendas piloto, podrían reunir ese conjunto de capacitación rápidamente. Los datos serían luego ingresados ​​a un sistema de aprendizaje profundo fuera de línea. Una vez que el sistema pudo identificar perfectamente a las personas y los elementos de los videos del conjunto de entrenamiento, podría comenzar a funcionar junto con la RFID como una doble verificación cada vez más precisa, hasta que finalmente la RFID, los sensores de peso, etc., pudieran eliminarse gradualmente. Sería esencialmente un comerciante robótico de ojos de águila que observa a cada cliente y totaliza de manera instantánea y continua sus artículos. ¡Bienvenido al futuro!

Supongo que implicará sensores de peso y seguimiento de objetos. Habrá algunas computadoras y redes muy fuertes en todas y cada una de estas ubicaciones.

Las cámaras lo notarán como un objeto discreto que ingresa a la tienda y etiquetarán el objeto ‘Usted’ con su ID que se le dio a la tienda cuando escaneó su teléfono en la entrada. Luego, cuando las cámaras graban que está interactuando con una determinada región y un sensor de peso registra un cambio en el peso, la computadora central lo registrará como si hubiera tomado un objeto. Debería haber algunas cámaras diferentes para diferentes ubicaciones. Un tipo de cámara para rastrear dónde se mueve una persona, un tipo diferente para buscar interacción con un estante. Los sensores de peso también ayudarían si planean vender productos por peso.

Un comentarista en una de las otras respuestas preguntó qué pasaría si una persona toma algo y luego se lo da a otra persona para que lo devuelva o lo deja en el lugar equivocado. Esas serán muy difíciles de manejar hasta que la IA y el reconocimiento de imágenes visuales mejoren MUCHO. Es probable que las tiendas de Amazon GO tengan un breve tutorial sobre cómo usar la tienda, con una instrucción de que personalmente debe devolver los objetos a la ubicación correcta o el reembolso no se procesará correctamente. También pueden equipar a los empleados del piso para procesar una devolución que el cliente no quiere manejar.

Estas tiendas serán una gran molestia durante los primeros años.

Amazon go se encuentra actualmente en pruebas beta privadas y se abre al público a principios del próximo año. El gran punto de venta de amazon go es: no hay líneas de pago.

La compañía no responde sobre cómo funciona, pero podemos ver esto en la presentación de patentes.

• Esas solicitudes de patente describen un sistema que utiliza tecnología que incluye RFID para detectar cuándo un comprador toma un artículo del estante y luego sincroniza los datos en un dispositivo portátil.
• Eso significa que el sistema está registrando los artículos a medida que avanza el comprador, lo que elimina la necesidad de pasar por una línea de pago tradicional. Cuando los clientes salen de la tienda a través de un “área de transición”, el sistema detecta que se van, suma los artículos y carga su cuenta de Amazon.
• De la presentación de la patente:

Por ejemplo, si el usuario está comprando artículos en una tienda minorista, en lugar de tener que detenerse y “pagar” con un cajero, cajero o estación de cheques automatizada, porque los artículos seleccionados ya se conocen e identifican en una lista de identificadores de artículos asociado con el usuario, el usuario puede simplemente salir de la ubicación de venta minorista con los artículos. Se detectará la salida del usuario y, a medida que el usuario pase a través de la salida (área de transición), al usuario, sin tener que detenerse ni retrasarse, se le cobrará automáticamente una tarifa por los artículos (los artículos se transfieren al usuario).

La solicitud de patente señala que el sistema podría usar el historial de compras anteriores de un comprador para ayudar a identificar un artículo cuando lo recoja.

Por ejemplo, si el sistema de administración de inventario no puede determinar si el artículo seleccionado es una botella de ketchup o una botella de mostaza, el sistema de administración de inventario puede considerar el historial de compras anteriores y / o los artículos que el usuario ya ha elegido de otras ubicaciones de inventario. Por ejemplo, si el usuario históricamente solo ha elegido / comprado salsa de tomate, esa información se puede usar para confirmar que el usuario probablemente haya elegido salsa de tomate de la ubicación del inventario.

• Amazon dice en sus preguntas frecuentes y video en línea que está utilizando tecnologías que incluyen la fusión de sensores, que reúne datos de diferentes sensores para aumentar la confiabilidad y precisión de los resultados. Así es como la solicitud de patente describe la confluencia de los datos del sensor.

En algunas implementaciones, los datos de otros dispositivos de entrada pueden usarse para ayudar a determinar la identidad de los artículos recogidos y / o colocados en ubicaciones de inventario. Por ejemplo, si se determina que un artículo se coloca en una ubicación de inventario, además del análisis de imagen, se puede determinar el peso del artículo en función de los datos recibidos de una báscula, sensor de presión, celda de carga, etc., ubicados en La ubicación del inventario. El análisis de imagen puede reducir la lista de elementos potencialmente coincidentes a una pequeña lista. El peso del artículo colocado puede compararse con un peso almacenado para cada uno de los artículos potencialmente coincidentes para identificar el artículo que realmente se colocó en la ubicación del inventario. Al combinar múltiples entradas, se puede generar un puntaje de confianza más alto que aumenta la probabilidad de que el artículo identificado coincida con el artículo realmente seleccionado de la ubicación del inventario y / o colocado en la ubicación del inventario.

Utilizan tecnología IoT de vanguardia, que detecta varios aspectos como quién está cerca de qué elemento; para eso se utilizan varios sensores de imagen y sensores RFID.

Los datos van a la nube en tiempo real, donde ocurre el aprendizaje profundo.

Existe una patente RFID para detectar cuándo un comprador toma un artículo del estante y luego sincroniza los datos con un dispositivo portátil. La tecnología, incluidas las presentaciones, describe un sistema que utiliza

Eso significa que el sistema está registrando los artículos a medida que avanza el comprador, lo que elimina la necesidad de pasar por una línea de pago tradicional. Cuando los clientes salen de la tienda a través de un “área de transición”, el sistema detecta que se van, suma los artículos y carga su cuenta de Amazon.

Mira los detalles de la patente aquí:

Solicitud de patente de los Estados Unidos: 015001239

Estamos un paso más cerca del chip .

Así es como hacen la transición de las personas a través de operaciones psicológicas como esta. A través de este tipo de tecnología para preparar a las personas para una sociedad sin efectivo donde no se necesita efectivo, no se necesitan tarjetas de crédito. Y en lugar de sostener su teléfono, cuando ingrese a la tienda Amazon Go, se deslizará la muñeca al ingresar a la tienda

Ahora, se ha debatido mucho sobre la marca de la bestia y cuál podría ser la marca. Algunos creen que es transhumanismo, creo que también es transhumanismo. Pero no entiendo cómo la gente no puede ver que esta es la marca de las profecías en la revelación 13–17

Y que ningún hombre podría comprar o vender, excepto el que tenía la marca, o el nombre de la bestia, o el número de su nombre.

Apocalipsis 13-17

Obviamente, no podrá comprar ni vender a menos que tenga esto. ¿Y todos nos dirigimos hacia qué? Una sociedad sin efectivo. Esto es lo que quieren, es su plan, ha sido su plan (las élites, los Rothschild)

Ellos son los que quieren una sociedad sin efectivo, ¿por qué? Debido a que todos son electrónicos y todo está dentro de ti, ellos tienen el control total de ti. Entonces no necesitas un euro o un dólar, porque está dentro de ti, está dentro de ti.

Te persuadirán para que obtengas este chip diciendo que una vez que está dentro de ti no hay más robos, no hay más robos, nadie puede robar tu identidad o robar artículos de la tienda o robarlo. Porque serás rastreado y monitoreado.

Mire a su alrededor y vea cuánto somos una sociedad perezosa, créame, odio esperar en la cola también, me vuelve loco, soy muy impaciente. ¿Pero sabes que? ¡Así es la vida!

¡Pero aparentemente ya no!

Te convencerán con estas promesas de hacerte subir a bordo con este chip.

Ellos dirán: “¡ Oye, escucha! No tienes que esperar en la cola, ¡todo va, va, va! “Esa es la mentalidad que han creado” ¡ vamos, vamos, todo es rápido! “Todos tienen prisa por no llegar a ninguna parte . “ ¡Necesitamos la tecnología 5G para que todo sea más rápido, más rápido, más rápido! ” Es ridículo.

Todo eso es parte de esta gigantesca operación psicológica en la que estamos viviendo.

Entonces pueden ver que así es como hacen la transición de las personas a esto. Pasas de la tarjeta al teléfono al interior de tu cuerpo

Apocalipsis 13:17 “no puede comprar o vender bienes” ¿recuerda? Eso es lo que nos dicen las Escrituras, te obligarán a que lo entiendas, ¡así que no caigas en ello!

Vea este video: (No soy el creador de este video, todo el crédito es para A Call For An Uprising)

Gracias por leer, Dios los bendiga a todos

Honestamente, esta idea es genial.

¿Por qué? Como menciona su video, elimina el aspecto de la línea y puede acelerar las compras de comestibles para las abejas ocupadas

¿Es bueno para la economía? No :/

Ahora, ¿por qué esta idea podría ser mala para una economía? Bueno, ¿conoces todos esos trabajos que brindan esas tiendas para llamar a todos los productos que quieres comprar? Sí, esos no existirán porque ¿qué empresa no querría eliminarlo? El mayor gasto para las empresas siempre es la mano de obra y, cuando se reducen los costos, una empresa puede hacerlo fácilmente reduciendo a los empleados.

Por lo tanto, decir que cada tienda de abarrotes, hipotéticamente hablando, decide usar amazon go o un concepto similar que elimina al cajero de la nómina. Eso es 3.4 millones de empleos que solo se han ido en los EE. UU., Lo que representa el 6% por ciento del empleo total de EE. Eso es un gran aumento del desempleo para un solo país.

Ahora no estoy diciendo que no debamos eliminar esta idea, pero honestamente, la única compañía que se está beneficiando aquí es Amazon. Lo que si no me equivoco sería un monopolio si esta idea fuera despegar dándoles más publicidad y más negocios. Incluso podrían expulsar a Wal-Mart si esta idea tiene éxito en mi hipotético escenario.

Hacer un seguimiento del inventario y la selección de compra (por parte de clientes particulares), basados ​​en sensores y cámaras del mundo real en tiempo real en lugar de usar empleados y cajas registradoras, son los dos problemas difíciles que hacen uso de las técnicas de IA. El resto es básicamente software convencional y minorista.

Este libro promete proporcionar una referencia estándar sobre aprendizaje profundo:

Aprendizaje profundo (serie de computación adaptativa y aprendizaje automático): Ian Goodfellow, Yoshua Bengio, Aaron Courville: 9780262035613: Amazon.com: Libros

El sistema de visión por computadora detrás de esto es, por supuesto, bastante impresionante.

1. Etiquetas RFID pasivas: se están volviendo más baratas a medida que aumenta la demanda de su uso. Esto identifica los artículos a medida que la persona sale de la tienda o en cualquier momento antes para realizar el análisis de la cesta y puede servir para múltiples propósitos, como los sistemas de recomendación en tiempo real. Esto es necesario ya que problemas como la distinción de una marca en un conjunto de paquetes similares del mismo producto usando el algoritmo DL de múltiples usuarios en tiempo real es computacionalmente costoso.
2. Las cámaras utilizan el seguimiento de la visión por computadora de los usuarios mientras navegan por la tienda. Esto con etiquetas RFID desencadenantes recomendadores.
3. Los algoritmos de aprendizaje profundo pueden usarse para predecir muchas cosas en un sistema con los datos generados a partir de los datos de seguimiento y cesta. Mi conjetura es que DL se usa para recomendar y no para el reconocimiento de patrones de imagen. Basé esta conclusión desde un punto de vista económico.

*** Por cierto, esto no es novedoso. El concepto de recomendadores en tiempo real y RFID para el seguimiento de la cesta en la tienda ha existido desde hace algún tiempo con tecnologías como las etiquetas electrónicas de estantería (ESL). Se utiliza principalmente para motores de promoción en tiempo real, análisis de cesta y optimización de precios en tiempo real. Sin embargo, toda la integración con una infraestructura de Amazon puede parecer una experiencia más rica pero no novedosa. ***

Apuesto a esta respuesta basada en una implementación comercial de seguimiento de etiquetas RFID pasivas dentro de una tienda para promociones en tiempo real. La visión por computadora se consideró para el seguimiento, pero nunca se implementa porque es un seguimiento computacionalmente costoso en tiempo real de grandes cantidades de objetivos en una tienda.

Esto es puro marketing: nada de lo que le gusta a la IA en esta tienda es lo que creo. El proceso es probablemente algo como esto:

1. Identificar al cliente que ingresa a la tienda es sencillo
2. Seguir al cliente en la tienda puede ser solo un sistema avanzado de rastreo de ubicación similar al GPS de su teléfono en Google Maps
3. Sabiendo que un producto ha sido recogido / devuelto, solo puede haber sensores debajo o detrás del producto integrado en los estantes.
4. Saber que el cliente X eligió el producto Y podría ser una combinación de rastreo de ubicación + detección del sensor del producto, es decir, asignar el producto recogido al cliente más cercano o algo así.
5. La visión por computadora puede ayudar a diferenciar entre dos clientes demasiado cercanos para asignar el producto recogido al correcto solo en el lugar
6. Agregar producto al carrito es un proceso básico de comercio electrónico y se puede implementar un disparador para cargar la tarjeta de crédito una vez que la ubicación del cliente está fuera de la tienda.

Voilà!

IBM nos prometió tiendas como esta hace 10 años (o más). En aquel entonces, se pensaba que las etiquetas RFID rastrearían el inventario en toda la tienda y que un escáner incorporado en la puerta lo “llamaría”.

E integrar los sistemas antirrobo existentes en las grandes tiendas con sistemas de pago automatizados, para que pague al salir en lugar de activar una alarma, no sería lo más difícil de hacer.

Entonces, el concepto de la tienda Amazon Go no es inesperado. Sin embargo, el medio por el cual se gestiona el inventario es bastante impresionante.

El aprendizaje profundo es parte de lo que Amazon llama su sistema Rekognition. Es cómo las computadoras entienden lo que están viendo. Y apuesto a que (no dicen) es cómo Amazon Go rastrea a las personas mientras caminan por la tienda y determina quién está haciendo qué.

Amazon Rekognition: detección y reconocimiento de imágenes con Deep Learning