¿Cómo funciona Amazon Go?
La respuesta corta es que es una amalgama de:
- Inteligencia artificial
- Aprendizaje automático
- Reconocimiento de imagen
- Una serie de “sensores de fusión”
- Décadas de datos sobre cómo compran los humanos
Cuando Amazon inventó la compra con 1 clic en 1997, muchos observadores dijeron: “Esto es una locura, es demasiado rápido”. Habrá demasiadas transacciones falsas ”. Resulta que después de décadas de 1 clic de Amazon y Apple (un licenciatario) esto ni siquiera es un error de redondeo de casos de error.
Amazon perfeccionó las compras con 1 clic en los albores del comercio web. Ninguna empresa en el mundo tiene más datos sobre el comportamiento de compra relacionado con este tipo de sistema. Amazon también es experto en identificar productos mediante el reconocimiento de imágenes. Combine esto con los Fusion Sensors que confirman de forma cruzada el nuevo “carrito de compras” virtual que crea no solo tomando un artículo en la mano, sino también volviéndolo a colocar, en realidad hay una probabilidad aún menor de una transacción errónea.
Quiero profundizar en cómo Amazon creó Amazon Go en detalle en otra pregunta. Reproduciré esto a continuación:
“Cualquier tecnología suficientemente avanzada es indistinguible de la magia” —Authur C. Clarke
Solo 1 clic y la tienda “Self Driving”
Era un día frío en la sede de Amazon el 12 de septiembre de 1997. Jeff Bezos estaba nervioso cuando presentó una nueva y única patente ante la USTPO llamada “Método y sistema para realizar un pedido de compra a través de una red de comunicaciones” [0]. Esto se conoció como la patente de Amazon de 1 clic y unos años más tarde fue licenciada por Apple para sus sitios web y luego iTunes. Definió la experiencia web desde entonces.
“Compre y simplemente salga” —Amazon, 2016
Amazon acaba de inventar la experiencia de compra con un clic para el comercio minorista.
Ejemplar: Elevación frontal de una tienda minorista típica de Amazon Go.
Hoy, 5 de diciembre de 2016, Amazon anunció en Amazon Go Store [1] una nueva experiencia de compra que cambia fundamentalmente la estructura misma de compras y pagos al mismo tiempo. Amazon ha combinado décadas de investigación con inteligencia artificial y aprendizaje automático junto con el reconocimiento de imágenes. Combinaron todo el conocimiento que obtuvieron de la experiencia de compra con un clic y lo llevaron a la tienda minorista.
En 1861, John Wanamaker inventó la forma en que actualmente compramos [2]. Hoy Amazon acaba de reinventar toda la experiencia minorista y de pagos. Es una tienda sin máquinas de tarjetas de crédito ni cajas registradoras, solo AI . Amazon está utilizando la misma tecnología que se puede encontrar en los aspectos que salvan vidas de los autos sin conductor, en Amazon Go Store. Es una tecnología muy poderosa.
Muestra: demostración de video de la tienda minorista de Amazon Go.
Amazon Go termina con líneas de salida y cajas registradoras
Se llama tecnología “solo salga” y cuando salga, su compra se completa con un recibo en su aplicación, cargado en su cuenta de Amazon. Esto se logra mediante una entrada que es similar a los torniquetes del metro que se ven en las principales ciudades. Sí, esto suena como magia, magia minorista.
Muestra: del área de entrada del torniquete del metro para la tienda minorista Amazon Go.
Muestra: del código QR utilizado para ingresar a la tienda minorista de Amazon Go.
Muestra: de un escaneo de teléfono celular para ingresar a la tienda minorista de Amazon Go.
Se requiere un teléfono inteligente con la aplicación instalada para ingresar a la tienda mediante la presentación de un código de barras a un sensor. Este escaneo de código de barras (junto con otra tecnología de sensor, por ejemplo: GPS, etc.) rastrea que ha ingresado a la tienda, identifica que se está moviendo a través de la tienda y luego identifica el producto que recoge. Para completar su experiencia de compra simplemente salga por la puerta. Si, eso es . El reconocimiento de imagen combinado con una fusión de tecnologías de sensores ya ha confirmado su pedido y lo totalizó. Todos facturados a su futura tarjeta de Amazon Bank, pero actualmente a la tarjeta de pago que tiene registrada con ellos, los casi mil millones de tarjetas de pago que tienen registrada.
Muestra: del carrito de compras automático en la aplicación Amazon para la tienda minorista Amazon Go.
Muestra: de un cliente que sale de la tienda minorista de Amazon Go.
Muestra: de un cliente que verifica un recibo de la tienda minorista Amazon Go.
¿El fin del hurto?
Esta magia de Amazon se logra a través de una serie de tecnologías muy avanzadas. Lo más fundamental es el uso de cientos de cámaras de detección de imágenes. Usando inteligencia artificial avanzada y aprendizaje automático, Amazon puede detectar un producto que no solo falta en los estantes, que lo sostienen en sus manos, lo ponen en una bolsa o incluso debajo de una camisa. Sí, Amazon ha resuelto el robo de tiendas casi por completo .
Muestra: parte de la tecnología de sensores en la tienda minorista Amazon Go.
Solo miembros, no se aceptan efectivo ni tarjetas de crédito
Amazon está cambiando fundamentalmente todo lo que creíamos saber sobre las ventas minoristas. Han fusionado la ciencia de datos AI y ML que casi inventaron para las ventas en línea y la combinaron para una experiencia de compra minorista única. Las ideas aquí son familiares y se pueden encontrar en el juego en las tiendas de Apple cuando se utiliza la aplicación de la tienda de Apple y el autopago. Amazon lo llevó al más alto grado, no hay auto check out. Al igual que un club de compras o una tienda de Costco, debe ser miembro de Amazon Prime para completar una transacción. De hecho, no aceptan efectivo o tarjetas de pago en la tienda, no hay máquinas de tarjetas de crédito y no hay cajas registradoras ni sistemas POS. Este es el comienzo del fin del sistema POS.
El cuento de dos patentes
Aquellos de ustedes que me han estado siguiendo en Quora saben que he estado hablando de que Amazon no solo realiza ventas minoristas sino también pagos en línea y minoristas. Escribí que en algún momento Amazon se convertiría en AWS para pagos tanto minoristas como en línea, al igual que se convirtió en AWS para servicios web. Hubo varias cosas que me permitieron entender cómo sucedería esto. En dos patentes presentadas el 26 de junio de 2013, Amazon citó “Detección de interacción y movimiento de artículos” [3] y el 24 de septiembre de 2014 citó “Transición de artículos desde la instalación de manejo de materiales” [4]. Ambas patentes telegrafiaron el futuro que ahora ha llegado a Amazon Go.
Inicialmente, estas patentes de Amazon parecen estar relacionadas solo con un caso de uso dentro de almacenes o centros de cumplimiento. Sin embargo, las ideas que tuve en 2013 sugirieron que Amazon estaba buscando patentar un producto que duplica la experiencia de compra con un clic que han dominado en Internet y que ahora solicitan para una tienda minorista.
La patente “Detección de interacción y movimiento de elementos” es lo más cercana a lo que Amazon Go está haciendo hoy. Estas son algunas de las realizaciones de la patente:
Si el usuario ingresa o pasa a través de un área de transición, como una estación de rebin, otra ubicación de inventario, estación de empaque, envío, salida de la instalación de manejo de materiales, etc., los artículos identificados en la lista de identificadores de artículos pueden ser cambiados . Debido a que los elementos ya han sido identificados, la transición puede realizarse automáticamente sin ninguna entrada afirmativa del usuario o demora para el usuario. Por ejemplo, si el usuario, como un agente de envío, sale de la instalación de manejo de materiales con los artículos, pasará por un área de transición (como una puerta de carga, una puerta que sale de la instalación de manejo de materiales, etc.) como salen de la instalación de manejo de materiales. Cuando el usuario ingresa o pasa por el área de transición, los elementos identificados en la lista de identificadores de elementos se transfieren automáticamente de la instalación de manejo de materiales al usuario. Continuando con el ejemplo anterior, los artículos pueden pasar automáticamente de la instalación de manejo de materiales al agente de envío en respuesta a una determinación de que el agente de envío ha pasado por el área de transición. Como otro ejemplo, si el área de transición es una estación de rebase dentro de la instalación de manejo de materiales, los artículos pueden pasar de la ubicación de almacenamiento original a la estación de rebinde. Como otro ejemplo más, si la instalación de manejo de materiales es una ubicación minorista y el cliente está comprando artículos, cuando el cliente pasa a través de la salida (área de transición) de la ubicación minorista, los artículos seleccionados por el usuario pueden pasar automáticamente de los materiales facilidad de manejo para el usuario y al usuario se le puede cobrar una tarifa por los artículos. De manera similar, si la instalación de manejo de materiales es un lugar de alquiler, una biblioteca, etc., el área de transición puede estar cerca de la salida de la instalación. Cuando el usuario se va con los artículos, los artículos pasan de la instalación de manejo de materiales al usuario que los toma. En tal caso, un tiempo de alquiler o préstamo que identifique cuándo deben devolverse los artículos puede estar asociado con los artículos y el usuario. La transición de los elementos puede hacerse automáticamente y sin ninguna entrada afirmativa o demora para el usuario. Por ejemplo, si el usuario está comprando artículos en una tienda minorista, en lugar de tener que detenerse y “pagar” con un cajero, cajero o estación de cheques automatizada, porque los artículos seleccionados ya se conocen e identifican en una lista de identificadores de artículos asociado con el usuario, el usuario puede simplemente salir de la ubicación de venta minorista con los artículos. Se detectará la salida del usuario y, a medida que el usuario pase a través de la salida (área de transición), al usuario, sin tener que detenerse ni retrasarse, se le cobrará automáticamente una tarifa por los artículos (los artículos se transfieren al usuario).
Aquí está el resumen de la patente:
Resumen
Esta divulgación describe un sistema para rastrear la eliminación o colocación de artículos en ubicaciones de inventario con una instalación de manejo de materiales. En algunos casos, un usuario puede eliminar un artículo de una ubicación de inventario y el sistema de gestión de inventario puede detectar esa eliminación y actualizar una lista de artículos de usuario asociada con el usuario para incluir un identificador de artículo representativo del artículo eliminado. Del mismo modo, si el usuario coloca un artículo en una ubicación de inventario, el sistema de gestión de inventario puede detectar esa ubicación y actualizar la lista de artículos de usuario para eliminar un identificador de artículo representativo del artículo colocado.
Muestra: patente de Amazon.
La patente “Transición de artículos de la instalación de manejo de materiales” también muestra
Resumen
Esta divulgación describe un sistema para la transición automática de artículos desde una instalación de manejo de materiales sin demorar a un usuario cuando sale de la instalación de manejo de materiales. Por ejemplo, mientras un usuario se encuentra en una instalación de manejo de materiales, el usuario puede elegir uno o más artículos. Los artículos se identifican y se asocian automáticamente con el usuario en el momento de la selección del artículo o cerca de él. Cuando los usuarios ingresan y / o pasan a través de un área de transición, los elementos seleccionados se transfieren automáticamente al usuario sin entrada afirmativa o retraso del usuario .
Estas son algunas de las realizaciones de la patente:
Al detectar la eliminación y / o colocación de artículos por parte de los usuarios en la instalación de manejo de materiales, el movimiento de artículos dentro y fuera de la instalación de manejo de materiales se puede lograr sin requerir que el usuario experimente una transición adicional de los artículos. Por ejemplo, si la instalación de manejo de materiales es una tienda minorista, los usuarios pueden elegir artículos dentro de la instalación, colocarlos en un carrito, bolsa, bolsillo o transportar los artículos y los artículos se identifican automáticamente y se asocian con el usuario. Cuando el usuario sale de la instalación, los artículos pueden pasar de la instalación al usuario y el usuario cobra por los artículos. Esto puede hacerse sin que el usuario tenga que pasar por el paso adicional de pagar con un cajero, el cajero identifica y escanea cada artículo y el usuario paga al cajero por el artículo .
Muestra: patente de Amazon.
Está claro que Amazon pensó en esto durante más de 4 años y perfeccionó el caso de uso dentro de sus propios almacenes. Muy desconocido e invisible para muchos es cómo Amazon cross confirmó el reconocimiento de imágenes basado en ML e IA que fueron pioneros.
En 2009 se plantó la semilla de tecnología de reconocimiento de imagen
Esto se remonta a 2009 y la adquisición de SnapTell [5] por Amazon. Desarrollaron tecnología de reconocimiento de imágenes que podía identificar una gran cantidad de productos populares solo por sus imágenes. Esta tecnología fue absorbida por los laboratorios privados de Amazon “Bell Labs of this century”. En 2014, Amazon integró esta tecnología en su aplicación para lo que se conoce como “sala de exposición” [6]. Esto permite a los consumidores visitar una tienda local, tomar una foto de un producto y obtener instantáneamente una comparación de precios. Desde entonces se ha desestimado.
Muestra: sistema de reconocimiento de imágenes de Amazon utilizado en la aplicación de Amazon.
El objetivo final es ser AWS para minoristas y pagos
Amazon Go obviamente interrumpirá el comercio minorista. Sin embargo, no creo que Amazon vaya demasiado lejos con las tiendas minoristas. Por supuesto que habrá muchos de ellos. Sin embargo, creo que Amazon quiere ser el AWS (Amazon Web Services) [7] para tiendas minoristas. Amazon ya convenció a los minoristas en línea para que confíen en ellos con AWS para su alojamiento web y hoy en día la gran mayoría de los sitios de comercio utilizan este servicio. Además,> 65% de las ventas en Amazon se realizan a través de pequeños comerciantes donde Amazon simplemente realiza y factura la transacción.
El objetivo a largo plazo de Amazon es ser el proveedor de tecnología para todo el comercio en línea y minorista. Me parece claro que Amazon licenciará esta tecnología a pequeños y grandes minoristas tal como lo han licenciado con tecnología AWS. Las compañías de pago, tanto jóvenes como heredadas, junto con los comerciantes tanto en línea como minoristas deberán ajustar enormemente sus modelos de negocio. Si no, quedarán obsoletos. Hasta el momento, ni una sola compañía de pagos joven o heredada está posicionada para aprovechar los cambios que se están llevando a cabo, y será un camino difícil por delante. Esto comenzará y terminará con las compañías de pago. Los fundadores astutos y los VC que trabajan conmigo conocían estos detalles hace más de una década. Gordy Howe, el legendario jugador de hockey, dijo: “El secreto del éxito en el hockey no es estar donde está el disco, sino dónde va a estar el disco”. Algunos se quedarán de pie y asombrados.
Un híbrido de todo lo que Amazon aprendió en línea
Amazon Go es el híbrido de muchas tecnologías e ideas que comenzaron con el primer sitio web creado por Amazon. Cuando Jeff Bezos inventó y patentó la experiencia de compra con 1 clic, que Apple autorizó más tarde, pocos podían imaginar que podría llegar a las tiendas minoristas. Es la fusión fundamental de:
- Compras en la web con un clic, al por menor
- Potente aplicación que utiliza servicios basados en la ubicación
- ID de código QR
- Pago Integrado
- Reconocimiento de imagen
- Tecnología de sensores múltiples
- Inteligencia artificial
- Aprendizaje automático
Estas ideas no son completamente nuevas. IBM habló de esto a mediados de la década de 2000 centrado en la tecnología RFID. Aunque Amazon no está utilizando RFID a ningún nivel de material en las tiendas de Amazon Go, es una predicción del futuro del comercio minorista de IBM:
Muestra: video RFID de IBM.
Amazon Go es parte de la primera revolución de la voz
Amazon también es pionero en sistemas Voice First como Alexa. Los sistemas Voice First se convertirán en los artículos más vendidos vendidos durante la temporada de compras navideñas de 2016 en Amazon. No hay duda de que Amazon integrará a Alexa en la experiencia de compra en las tiendas Amazon Go [7]. He escrito en detalle sobre esta nueva modalidad que llamo Voice Commerce y Voice Payments [8]. Todo esto es una expansión de lo que yo llamo la revolución de la Voz Primero.
Muestra: ubicación de John Wanamaker hacia 1921.
Las compras vuelven a donde comenzó
Cuando John Wanamaker inventó la experiencia de compra minorista en 1861 en Oak Hall, en las calles Sixth y Market en Filadelfia, Pensilvania, no podía imaginar el arco que tomaría. La historia registrará hoy a Jeff Bezos, John Wanamaker de nuestro siglo, sobre el comercio web inventado y ahora está reinventando el comercio minorista.
Hemos viajado muy lejos para volver a donde comenzó todo.
Muestra: Jeff Bezos mostrando felicidad.
[0] Patente de los Estados Unidos: 5960411
[1] Amazon.com:: Amazon Go
[2] La respuesta de Brian Roemmele a ¿Cuándo durante la Revolución Industrial aparecieron por primera vez las etiquetas de precio fijo?
[3] Solicitud de patente de los Estados Unidos: 0150019391
[4] Solicitud de patente de los Estados Unidos: 0150012396
[5] Inicio de reconocimiento de imagen SnapTell adquirido por la subsidiaria de Amazon A9.com
[6] Amazon pone el reconocimiento de imágenes en su aplicación principal de iOS: prepárate para ser aún más destacado, los minoristas
[7] La respuesta de Brian Roemmele a ¿Dónde ve Brian Roemmele a Amazon moviéndose a continuación en pagos (después de construir un ‘Asesino cuadrado’)? y la respuesta de Brian Roemmele a ¿Por qué el equipo Alexa de Amazon necesita 1000 personas?
[8] Hay una revolución por delante y tiene una voz