Comienzo con un intento de definir y restringir el alcance de términos como AR , VR , impuestos que son nebulosos y dependientes del contexto. Luego examino el estado actual desde una perspectiva histórica y de mercado. Luego considero el h / w real, identifico componentes estables e inestables, seguido de un vistazo a las cadenas de suministro y oportunidades. Termino con algunas discusiones sobre cuestiones fisiológicas, GPU y canales de distribución de contenido cautivo.
Descarto las opiniones de los desarrolladores de contenido y las métricas selectivas basadas en el volumen de pedidos anticipados aquí: su (A) entusiasmo se debe a las suposiciones de las ventajas del primer jugador en plataformas inmaduras, y (B) no están bloqueadas en las plataformas y cambiarán al jugador más grande cuando eso tiene sentido
Definiciones y restricciones.
- ¿Cuál es tu canal favorito de YouTube?
- ¿Las grandes empresas como Amazon, Google, Apple, etc. desarrollan software de gestión empresarial como ERPs internos o lo compran a SAP, Oracle, etc.?
- ¿Cuál es la próxima tecnología importante más allá del software?
- ¿Qué sigue para Dropbox en los próximos 5-10 años?
- ¿Cómo se infiltran las nuevas tecnologías (como los motores más eficientes en combustible) en la industria automotriz cuando toda la nueva tecnología está presumiblemente protegida por patente?
impuesto : una empresa X grava un mercado Y , cuando X mantiene las combinaciones de cadena de herramientas más útiles de inmediato de IP / Servicios / productos de modo que X pueda asumir una posición predeterminada en cualquier cartera de productos en Y.
Ejemplo: X = AWS (del comentario de Vaibhav Mallaya) para Y = nube,
Ejemplo: X = Texas Instruments para el mercado Y = proyección de viviendas.
Nota:
- Para que existan tales impuestos, Y necesita ser maduro.
- Los impuestos nunca son solo una cuestión de superioridad tecnológica, sino que requieren ingeniería de percepción y la participación activa de X.
- Las empresas necesitan reaccionar en tiempo real a los desarrollos en Y
Ejemplo: las tácticas de TI para crear un monopolio DLP (caso InFocus)
Ejemplo: disminución de Sharp / (MITI) + falla para contener LCD de Taiwán
Nota: AR no es equivalente a VR
- VR puede usar sustratos de visualización no transparentes, AR no.
- VR necesita una calibración mucho mayor entre el sistema visual humano y la pantalla, AR no. En consecuencia, la realidad virtual necesita más computación que AR.
- El hardware de realidad virtual es más fácil de producir pero más difícil de administrar que AR.
- AR puede hacerse más elegante que la realidad virtual.
- AR es móvil, la realidad virtual puede ser estática.
- AR es un término genérico: puede significar visión, audio o háptico, pero la prensa popular prefiere relacionarlo con la visión. La realidad virtual se basa principalmente en el sistema visual.
Esta distinción debería dejar en claro que estos son dos tipos diferentes de cadenas de suministro . La realidad virtual debido a su enfoque de diseño de ‘máscara de soldador’ no necesita ser demasiado elegante, por lo tanto, es más fácil manipular las líneas de componentes existentes para trabajar con la realidad virtual. AR se basa más en la elegancia y la facilidad de uso. Por lo tanto, AR necesita una compactación altamente personalizada: algo que nadie ha logrado aún, pero sé que todos están trabajando en esto. Al parecer, también hay una nueva categoría que converge estos dos segmentos llamada realidad mixta .
Otro punto que requiere especificidad: cuando hablo de dispositivos AR / VR, me refiero a tecnologías interactivas basadas en la pantalla montada en la cabeza o cerca del ojo . El dispositivo debe tener características de wearables y debe intentar la interacción con el entorno sin entrada específica o manual. Apple Watch / Fitbit / Kinect / Auriculares inmersivos / que los altavoces múltiples instalados en su garaje no son dispositivos AR. Una pantalla inmersiva tipo PicoWall de múltiples proyectores tampoco califica aquí.
Una opinión sobre los orígenes del ciclo AR / VR actual
IPhone 2007-2009 . Los números de adopción conmocionaron a todos los grandes jugadores que no forman parte de la cadena de suministro de Apple. Específicamente HP / Intel / Google / Microsoft. Los golpean los inversores. Los presionaron para que manejaran las percepciones y como estaban perdiendo la guerra móvil, tuvieron que crear nuevos segmentos de productos. La presión aumentó exponencialmente alrededor de 2012 cuando los productos de movilidad comenzaron a comerse lo que se consideraban sus líneas de productos seguras y estables: escritorio y empresa.
Los años formativos para AR / VR fueron 2009-2012 cuando todos en la industria comenzaron a asumir riesgos, ayudados por una economía estabilizadora y tasas consistentes / bajas. Fue entonces cuando comenzamos a ver la generación cero de ruido AR / VR: 2009 Microsoft Kinect, 2010 Intel IoT Alliance, 2011 Google Glass, 2012 Google Tango / Oculus / LeapMotion, etc.
La mayoría de las inversiones parecen haberse basado en temores de ” no quedarse atrás, nuevamente “. Por ejemplo, es seguro decir en 2016 que Kinect / LeapMotion ya no se considera una experiencia de entretenimiento única o relevante. El vidrio fue abandonado porque Google no lo vio convertirse en un producto de consumo. Oculus fue adquirido en un movimiento Pay-to-Play por una compañía de redes sociales. etc.
[He ignorado las compañías relativamente desconocidas pero interesantes que existieron durante breves momentos en este espacio. Hay muchos.]
Solo puedo concluir que la industria está impulsando a la fuerza el carro AR / VR, no la demanda del mercado . El riesgo que corremos es matar los nichos de campo donde AR / VR realmente son utilitarios. Ciertamente es posible que estemos confundiendo curiosidad con intenciones. Por lo tanto, 2016 será el año de referencia para los productos de primera generación. Este es el año en el que podemos determinar lo que los mercados realmente quieren y quieren como características.
Y = AR / VR
A continuación, trazamos algunos límites alrededor del mercado de AR / VR:
- No hay mercado , no hay números reales, solo proyecciones de WAG. No hay percepción de utilidad en los consumidores. Ni siquiera es seguro que los sistemas de visión cercana alguna vez se dirijan fuera de aplicaciones empresariales o de nicho. El juego no proporciona volúmenes si cuesta mucho más de ~ 300 USD (una línea de base razonable y aceptada por el consumidor). Podemos estar hablando de arcadas VR / AR, pero no mucho de un mercado.
- El mercado se unirá en torno al nicho de 2016, los primeros en adoptar parecen ser los más entusiasmados. La mayoría parece centrarse en lo que hace por la empresa.
- Desde la perspectiva de las cadenas de suministro, esto lleva tiempo. Después de la creación inicial de prototipos a baja velocidad, el silicio / mecánico / eléctrico / integración / prueba / envío demora más de 2 años antes de que se inicien las economías de escala, la estabilidad de la versión de diseño y las proyecciones de demanda confiables . Por lo tanto, se puede esperar la fusión de la cadena de suministro alrededor de 2018/2019.
- Las empresas que gravan , X no aparecerán en 4/5 años a partir de ahora. 2020 siendo el más temprano. Habrá mucho ruido en el medio.
- Siempre cisnes negros como Magic Leap. Han realizado los movimientos más respetables en el mercado junto con Microsoft hasta ahora: Respetabilidad basada en la planificación de ingeniería y la previsión estratégica de sus movimientos.
Entonces mis predicciones tienen un horizonte 2020.
Subsistemas de hardware y unidades en la cadena
Consideremos ahora los sistemas típicos que tales dispositivos necesitan. Sigue una lista incompleta. Los elementos de la lista se pueden agrupar en subsistemas personalizados (por ejemplo, la PCB S1 en el reloj, que el marketing de Apple describió inicialmente como un “chip” y ahora se llama ” SiP “).
Sistemas genéricos
- Energía / PMIC
Potencia / batería
Amplificador de poder
Entorno / Color / luz / Humedad / Conjunto de micrófonos
Captura de entorno / cámara
Mecánico / Chasis
Mecánico / Entrada
Eléctrico / táctil
Eléctrico / Interconexiones
Tablero mecánico / flexible
Eléctrico / Mainboard
Eléctrico / Antena y flex
Ubicación / GPS
Telecom / procesadores de banda base
WirelessLAN / Wifi /
PAN / BT /
WLAN / PAN / radio no estándar / óptico
Memoria / flash NAND
Memoria / DRAM
Procesador / SoC
Procesador / controlador de interfaz
Procesador / Video / gráficos
Los procesadores / ASIC para subsistemas personalizados pueden integrarse en el SoC principal
Orientación / Inercia / Magnética
Fabricación / prueba a nivel de componente
Ensamblaje de subsistema
Empaque del subsistema
Embalaje a nivel de dispositivo
Montaje a nivel de dispositivo
Limpieza / prueba
Metrología de control de calidad
embalaje
Monitor
- Óptica / óptica de pantalla: siempre personalizada
Motor de luz óptico / digital / DLP / LCoS / uOLED / LBS / LCD
Controladores ópticos / ASIC o COTS específicos para motor de luz digital
Entrada
- Entrada / Gesto / Cámaras RGBD / Luz conformada TX + RX pares /
Entrada / gesto / acústica HF
Procesador de entrada / gesto / ASIC
Entrada / gesto / capacitivo sin contacto / Efield
Entrada / gesto / toque capacitivo
Dispositivos de entrada / gesto / x-IMU o mouse de aire / tipo puntero
Entrada / AudioRX / Voz / MEMS Micrófono / Array
Salida / ambiente háptico / conducción ósea / hápticos personalizados
Óptico / mirada / IR iluminado / alta velocidad de fotogramas
Seguimiento óptico / mirada ASIC / procesador
AudioRX / Medio ambiente / MEMS / Piezo
AudioRX / Medio ambiente / Colocación direccional
AudioTX / mech / conducción ósea
AudioTX / acústico
AudioTX / tubos acústicos multicanal / inmersivoFirmware (Algunos requieren RTOS, por ejemplo, banda base o procesadores dedicados como IMU con algún filtrado predictivo)
Firmware – Algoritmos / Subsistema de fusión de sensores / Quizás en ASIC o analógico o digital
Reconociendo que todo se puede personalizar, lo que agrega tiempo + dinero + incertidumbre, la personalización generalmente se minimiza. La mayoría de los elementos que aparecen en la lista se pueden permutar / combinar en grupos que solo tienen sentido para los grupos / diseñadores de sistemas.
Los artículos, como la limpieza / prueba / ensamblaje pueden ocurrir según sea necesario y agregar costo y tiempo. Una vez que sepa cuántas unidades cree que va a mover, puede agregar automatización, robots de ensamblaje, metrología adicional, alquilar / adquirir instalaciones, aumentar el personal según sea necesario. Pero diseñar / programar / probar / garantizar el cumplimiento normativo lleva tiempo y debe tenerse en cuenta. Los ODM generalmente manejan algunos aspectos de esto.
Observando de cerca los factores que dan forma a la experiencia del usuario
Cabe señalar que la mayoría de los artículos que aparecen en el segmento de subsistemas genéricos en la lista son productos básicos y existe una considerable experiencia en la fabricación de sistemas altamente integrados y tienen cadenas de suministro estables. Ninguna compañía creará nuevos ‘ impuestos ‘ basados en esos componentes debido al afianzamiento y opciones preexistentes.
Los últimos sistemas, que se centran en la visualización (inmersión) y las experiencias de interfaz natural (interacción) son los problemas difíciles en AR / VR. Entonces, si alguien quiere recaudar un impuesto en el mercado de VR / AR, debe enfocarse en la IP del hardware o software para:
- Inmersión,
- Interacción.
Desde la perspectiva de la cadena de suministro de realidad virtual, algunos procesos / tareas / interfaz pueden ser entregados a sistemas de escritorio atados (ejemplo: Oculus). ¿Una cuestión clave es el mercado como experiencias portátiles atadas? [No lo creo, los mercados votan hacia la movilidad en los wearables. Pero puede haber opiniones diferentes sobre esto. Es posible que el contenido se vuelva tan bonito que las personas no noten una experiencia ligada.] Si los sistemas atados se convierten en el modelo principal, los jugadores de computación de rendimiento atrincherados pueden mantener su liderazgo.
- INMERSIÓN
La pila de inmersión tiene óptica estática (lentes, ensamblajes, vías de luz, filtros / antirreflejos / difusos / recubrimientos especulares, guías de onda, matrices de microlentes, formadores de haces ópticos, óptica de difracción), un motor de luz digitalmente controlable y un procesador que generalmente toma el RLE datos de imagen comprimidos de la RAM de gráficos y descubre cómo cambiar los estados de píxeles. Luego están los estándares y algoritmos de visualización y las oportunidades de interfaz de IP.
Óptica estática: generalmente son polímeros, pero pueden ser de vidrio. Generalmente moldeado. A veces mecanizado. Requiere un alto esfuerzo de control de calidad, pero una vez que se cumplen las líneas de base, los resultados son consistentes y fáciles de escalar. A menos que haya una tecnología única de fabricación de lentes o ciencia de materiales de recubrimiento que optimice los volúmenes y los costos con aplicaciones específicas para VR / AR, es poco probable que gane tracción tratando de arrinconar un mercado aquí. Este es un negocio de altos volúmenes y bajos márgenes.
Motor ligero: algunos ejemplos en AR son DLP (TI), LCoS (Holoeye / Himax), micro-OLED (e-magin), microemisivo (LuxView, mi empleador), LBS (aparentemente Magic Leap, Microvision). Encontrará detalles sobre las tecnologías aquí .
Hay componentes de pantalla LCD / OLED regulares que se usan en VR (Oculus y quizás Meta), pero no se encogen y eso es un problema.
Cada tecnología de motor de luz específica tiene un enfoque único para decodificar y almacenar el flujo de video y actualizar el estado de los píxeles. A menos que el motor de luz sea un producto estándar como una variante de LCD, la tecnología de pantalla elegida forzará una aceptación en todo un ecosistema que incluye procesadores y firmware y licencias de IP.
Estos generalmente limitan los factores de forma del diseño del producto final, por lo que son una de las decisiones más importantes que debe tomar un diseñador. Los motores ligeros / la calidad de imagen también son factores primarios que dan forma a la experiencia del usuario.
Puede saber que las pantallas son singularmente el subsistema más caro, incluso en el mercado de teléfonos inteligentes altamente comercializado. Así que aquí es donde están las mayores oportunidades. Estas compañías (y sus organizaciones asociadas que manejan la integración) son críticas para las cadenas de suministro, ya que pueden ofrecer diseños personalizados totalmente integrados, ‘CAD-and-drop’ . Una vez que un mercado se engancha a una determinada experiencia de dispositivo, no les importará nada más. Primero STN, luego IPS LCDs que matan a la tecnología de plasma posiblemente superior o electrowetting / e-ink / Mirasol de bajo consumo de energía es un ejemplo.
[Editar: Un punto técnico sobre la iluminación: VR h / w generalmente no tiene restricciones de contraste o brillo, ya que la pantalla no compite con la iluminación ambiental. Pero los dispositivos AR (o realidad mixta) deben ser considerablemente más brillantes que la luz admitida por el visor óptico transparente. Dado que el visor generalmente está diseñado para reflejar la luz en los ojos del usuario, también agrega algunas ineficiencias. Por lo tanto, los motores de luz y las fuentes de iluminación (ver más abajo) generalmente necesitan una alta eficiencia de conversión junto con una salida nativa de alto lumen. Este es otro punto que hace que la elección de la tecnología de motores ligeros sea muy crítica para las experiencias de AR.]
Fuentes de iluminación: los motores de luz también pueden requerir fuentes de iluminación independientes, tecnología de secuencia de color y fotónica / iluminación de semiconductores (diodos láser, LED). Aquí hay jugadores atrincherados y este club generalmente requiere un profundo esfuerzo y compromiso. Si tiene una iluminación de direccionamiento IP nueva y única, será inmensamente valioso.
Procesador de pantalla – Ver motor ligero. Si tiene un equipo ASIC y contratos / licencias de IP con GlobalFoundries / TSMC, es valioso.
Algoritmos: discutidos más tarde.
Las oportunidades son grandes, pero una organización necesita un control completo de todas las verticales aquí. No puede obtener fotónica procesada de alguna parte, óptica de otra parte y usar procesadores COTS y aún así considerarse valioso. Hay una razón por la que Magic Leap necesita la financiación que necesitaba. (El jurado aún no sabe si eso es suficiente). Cuanto más exclusivo sea tu stack, más verticales necesitarás controlar.
Veamos ejemplos: sabemos que Oculus y Meta se basan en la tecnología LCD. Las empresas como CastAR parecen estar usando DLP. He escuchado opiniones contradictorias sobre la pila tecnológica de HoloLens: algunos dicen DLP, en función de la madurez y el contraste de la pantalla, otros dicen que no DLP porque DLP necesita mucha energía [Editar: Aparentemente LCoS: todavía tiene mucha energía e iluminación ineficiente]. Las patentes de Microsoft aparentemente indican una cerveza casera, con ODG + Nokia Lensing IP de fabricación.
TI ha tenido el mercado DLP acorralado durante mucho tiempo. Las empresas japonesas / coreanas / taiwanesas han arrinconado LCD. LCoS todavía está demasiado extendido, hay posibles objetivos de consolidación allí (especialmente después de que Google dejó caer Glass). LBS es arriesgado, debido a factores humanos. Micro-OLED no es lo suficientemente brillante. Samsung tiene arrinconados OLED regulares, pero como LCD, OLED no se contrae mágicamente. No voy a comentar sobre micro-pantallas Emissive. Micro-LCD se está trabajando pero Japón / Taiwán / Coreanos no pueden ser vencidos; solo adquirido – Y se consolidan / dispersan todo el tiempo.
2. INTERACCIÓN.
La pila de interacción se basa en permutaciones / combinaciones de sensores y algoritmos. La intención principal con AR es permitir que el contenido digital mostrado interactúe y reaccione al entorno del usuario. Esto no es tan crítico para la realidad virtual, pero aún necesita detectar la postura del usuario para permitir la inmersión y el contenido de visualización reactivo (lo que Oculus se refiere como ‘movimiento al fotón’).
Hardware del sensor: el hardware documentado públicamente puede incluir cámaras RGB simples, cámaras RGB + D de detección de profundidad (PrimeSense, RealSense, Kinect), emisores / receptores de matriz ultrasónica MEMS (Chirp de Przybyla), pares RF TX / RX (Proyecto Soli), mini- Sensores IR / láser / Tiempo de vuelo (Microsoft), matrices de micrófonos acústicos MEMS (Akustica, Bosch), sensores de campo capacitivo (Microchip), MEMS MARG (gravedad de velocidad angular magnética, de AD, TI, InvenSense, Freescale …), presión, altitud, sensores como matrices entre muchos otros tipos. Estos sensores permiten que el sistema comprenda el entorno y la intención del usuario.
Una idea clave que creo que es única: puede pagar por sensores de alta precisión pero escribir algoritmos de basura, o puede pagar por sensores de baja precisión y escribir algoritmos excelentes para obtener resultados similares . Leap Motion es un ejemplo de lo primero, y el equipo Apple IMU es un ejemplo de lo último. La adquisición de Lumedyne por parte de Google muestra hacia dónde se dirige la industria.
El alcance de la experiencia del producto también es muy crítico. El hecho de que pueda tener 20 sensores en su dispositivo no se traduce en una mejor experiencia de usuario. Los algoritmos de sensores múltiples son sofisticados y aún necesitan mucho desarrollo. Muchas organizaciones como AD, Freescale, Bosch finalmente , después de como 15 años en la naturaleza, han comenzado a incluir quaternion f / w con sus chips IMU, pero demasiado tarde, no funcionan en matrices (debido a la propagación de incertidumbre, calibración parásita. errores)
Algoritmos: los algoritmos en sí mismos son una gran oportunidad. El procesamiento de imágenes requerido por las cámaras de detección de profundidad todavía se considera una carga pesada y requiere coprocesadores específicos y arquitecturas optimizadas. Dos problemas centrales: 1. Mapeo / segmentación del entorno, 2. Reconocimiento de gestos.
Los algoritmos + sensores aún no son lo suficientemente precisos. Dado que estos sensores controlan el contenido de la pantalla, hay poco margen para procesar estos datos en línea (debido a la latencia), como la forma en que tratamos el habla. La antigua IP que se ha otorgado es bastante inútil, aunque legalmente sigue siendo amenazante. Espero una nueva ola en fusión, SLAM y calidad de hardware del sensor para anular esta barrera.
Es necesario que haya más estudios de psico-óptica sobre cómo estas pantallas y algoritmos interactúan con el sistema visual humano y cómo nos afectan fisiológicamente sobre exposiciones repetidas y / o prolongadas. No estoy seguro de si todos percibirán las mismas pantallas de manera similar o si las variaciones individuales en la vista arruinarán las experiencias para algunos. Ejemplo: ¿Cómo afecta el ojo dominante a la percepción de la visualización del ojo cercano? Aquí hay una oportunidad para que la oftalmología impulse una parte de la discusión sobre el diseño de algoritmos.
También encontrará mucho más aceite de serpiente aquí que en cualquier otro lugar. La investigación académica es muy difícil de traducir a dispositivos de producción. Las experiencias de CGI simuladas que nos muestra el marketing no son lo que la gente ve en la naturaleza (Kinect / LeapMotion). Ese es un gran obstáculo de percepción para cruzar.
Coprocesadores de algoritmos: los algoritmos pueden implementarse en silicio + PROM (Microchip / MGC, Maxim / 21100) o pueden tener licencia como firmware (Bosch). Dichas oportunidades de implementación se pueden convertir en una cadena de herramientas segmentada que puede tener licencia de proveedores independientes o más pequeños. En cierto modo, esto sería similar a los modelos de producción y licencia IP fabless / fundición.
Metrología y calibración: es el equivalente de los problemas de calibración de hierro duro / blando y de por vida en las IMU. Las tasas de error y la confiabilidad son muy, muy críticas aquí, ya que arruinan la usabilidad y la experiencia. Hay estudios que predicen en gran medida por qué los saltos tecnológicos como el Glass fallan en el mundo real (Dix et al, Interacción computadora humana 2005). La mayor parte de mis dudas al entusiasmarme con este segmento proviene de esta perspectiva UX.
Por lo tanto, la compañía que fabrica un producto que implementa algunas características correctamente el 100% del tiempo puede quitarle el foco de atención a algo como HoloLens, que implementa muchas características que fallan de vez en cuando. Los fracasos agraciados no significan mucho. Las fallas confiables sí, pero alguien tiene que descubrir cómo hacer que esto funcione.
[Mi opinión personal es que los enfoques basados en la visión para los gestos nunca alcanzarán la fiabilidad que se requiere para la adopción de grandes volúmenes en el intervalo de tiempo en el que se requiere. Simplemente están tratando de resolver el problema incorrecto . Pero soy parcial.]
Oportunidades en el ecosistema: una gran oportunidad desde la perspectiva de los dispositivos es inaccesible para la mayoría de los jugadores pequeños: un ecosistema para usar el producto AR / VR en el interior. Solo Google y Microsoft tienen esto. Y también lo haría Apple si decidiera lanzar algo, que aún puede.
Así que ese era el trasfondo. Respondamos las preguntas basadas en eso.
1. Empresas que pueden gravar el mercado de AR / VR.
Los motores de luz habituales sospechan: TI , si vamos por el camino DMD / DLP, o los consorcios LCD Corea / Japón / Taiwán si usamos LCD o microLCD. Si LCoS hace una entrada, entonces puede tener Himax. Quien controle la unión de obleas GaN / GaAs y la tecnología de apilamiento 3D también juega aquí. Samsung , con todas sus filiales y socios de fabricación, definitivamente gravará a todos. La suerte de Sony / Sharp también puede revertirse (dudo mucho que sea importante para una recuperación completa). Casi todos los pico-proyectores o compañías especializadas en pantallas de factor de forma pequeño pueden jugar aquí.
Una nota sobre LCoS es que tiene algunas características únicas de selectividad de longitud de onda y modulación de fase. Seguro que encontrará aplicaciones de volumen únicas, pero tiene que madurar (por ejemplo, LCoS ferroeléctrico) a tiempo para que sea viable para AR / VR.
Luego están los fabricantes de semiconductores de sensores / A2D / ADC en juego: todas las empresas de MEMS y sensores ópticos. Entre ellos, el que tenga la mejor precisión y precisión puede ganar. Google tiene una marcha sobre otras compañías con la adquisición de Lumedyne , pero no está seguro de cuán maduras son sus líneas.
Las compañías de fotónica de semiconductores como Philips o Maruwa u Osram o Sumitomo se beneficiarán si solo intentan jugar bien con las compañías de AR / VR en lugar de enfocarse en su comercialización de eficiencia energética.
Las compañías de software de metrología que brindan soporte empresarial y de producción con servicios estandarizados para algoritmos de sensores y calibración de metrología y / o dispositivos serían exitosas. Bosch es un ejemplo. También hay varias compañías en el área de Illinois. La creación de prototipos de silicio tiene problemas de confiabilidad que pueden resolverse con servicios estandarizados de pruebas subcontratadas.
Hay oportunidades para que las compañías de informática y GPU SFF publiquen hardware modular plug-n-play que garantice que las computadoras portátiles / de escritorio de grado de consumo sean compatibles con los sistemas VR / AR. Los estándares USB 3.x parecen ser una excelente manera de habilitar dicha tecnología. Es probable que se creen estándares basados en consorcios para habilitar dichos canales, y dichos estándares se utilizarán para recaudar un impuesto. (Consulte la nota a continuación para ver por qué los jugadores de GPU de escritorio atrincherados pueden no tener una gran ventaja, pero la licencia de IP / núcleo de movilidad / baja potencia tiene grandes oportunidades).
La nueva tecnología del actuador , como la conducción ósea, debe examinarse un poco más de cerca. Hay cosas que se pueden hacer aquí con configuraciones de múltiples actuadores que aún no se han explorado. Las empresas que ya se especializan en altavoces BC ( Dayton, por ejemplo) deberían ver un flujo constante de RFQ de diseño personalizado. Al final, alguien irá hacia una solución de tipo powerglove (¡otra vez!) E incorporará actuadores giroscópicos (platos inerciales giratorios) para la retroalimentación háptica. Aquellos que pueden hacerlos pequeños tendrán un juego considerable.
Además de la óptica pasiva, algunas compañías tecnológicas más maduras y grandes están considerando la óptica activa . El enfoque habitual es utilizar compuestos de película delgada de polímero de LC nemáticos y otros materiales birrefringentes orgánicos / inorgánicos para construir capas activas estampadas intercaladas entre las capas de vidrio y TCO para construir guías de onda. Un ejemplo puede ser DO.
Las empresas de biometría y las empresas de modelos estadísticos del cuerpo humano también deberían ver mejores márgenes. El mercado de la moda dictará algunas tendencias aquí, pero no tengo idea de por dónde empezar.
Las compañías de polímeros biocompatibles también deberían ver un aumento en las consultas dependiendo del peso y el ajuste del diseño final. Fitbit tuvo problemas. Así que espero que 3M o Eastman recojan un pedazo del pastel, junto con sus líneas tradicionales de plástico. Podría haber un movimiento hacia las fibras naturales también, pero no tengo idea de quiénes son los jugadores aquí.
La demanda de desarrolladores de software expertos en la implementación de sensores continuará su alza, y sospecho hasta el punto en que muchos de estos trabajos se realizan en alta mar. Por lo tanto , los consultores off-shore deben descubrir cómo incorporar tales habilidades en sus grupos. Inicialmente, no será tan sencillo como aprender un marco: necesitará gráficos, movilidad, GPU, física y habilidades de EE / DSP.
Los grandes jugadores como Intel seguirán intentando forzar sus ideas sobre las personas, y pueden tener éxito. Las participaciones de compañías como Apple en la refriega definitivamente inclinarán los carritos para cualquier otra compañía que no sea parte de su cadena de suministro. Verá que las compañías más pequeñas que no cuentan con una gran cantidad de tecnología desaparecen o son adquiridas en ventas de incendios.
La receptividad del mercado chino también es otro factor importante. Si un jugador pequeño gana allí, entonces las compañías en Norteamérica pueden no tener la oportunidad de adaptarse a las eficiencias de la cadena de suministro interna de China. Pero esa es una declaración genérica verdadera para muchos segmentos. Lo que será interesante es si AR / VR se ve forzado a un segmento novedoso como lo fueron los proyectores Pico. Y lo que sí sé es que ellos, China, están mirando una imagen muy diferente y más grande, y corren en una dirección completamente diferente de los Estados Unidos o los japoneses / coreanos. Puede pagar no quedar atrapado dentro del circuito de retroalimentación del norte de California.
Un punto general, el problema del huevo o la gallina, la gran fabricación no hace prototipos pequeños. Pero la fabricación pequeña requiere efectivo por adelantado , y no extienda un crédito profundo a pequeños clientes de prototipos. Las pequeñas empresas que tienen grandes ideas pero poco o ningún crédito generalmente tienen dificultades para ejecutar la visión real: algunas especificaciones y tolerancias son solo proporcionales al dinero. Algunos socios de fabricación que miran el panorama general y asumen los riesgos pueden tener suerte. Hon Hai está haciendo exactamente esto. Los que tienen su sede en los EE. UU. O Corea parecen estar solo brindando servicio de labios.
Las tiendas físicas de FMCE como BestBuy, Apple / Microsoft Stores que exhiben AR / VR y experiencias personalizadas de wearables también serán críticas. Simplemente no hay otra forma mejor o mejor de comercializar experiencias tan personales. Por lo tanto, capturar / asociarse con canales de distribución es fundamental si no tiene el suyo propio. Esto también es bueno para el comercio minorista físico, porque el tráfico peatonal + las ventas del ecosistema. Espero que BestBuy lo haga realmente bien.
2. Dependencias de la cadena de suministro.
- GaN GaAs oblea y calidad, disponibilidad y escalado para satisfacer la demanda del consumidor.
- Fuentes de iluminación eficientes (LED, diodos láser). Para fuentes no emisivas, la luz tiene que ser generada por algo . La mayoría de las personas desconocen cuán críticas son las fuentes de iluminación y las compañías de semiconductores que las fabrican. Hay quizás dos, como máximo tres, organizaciones que realmente pueden proporcionar fuentes a escala.
- Equipo de torneado de diamante de precisión para fabricación de lentes y moldes.
- Micro formación / micro embutición profunda / microinyección y tecnología de estampado IP. Apple es la única compañía con un grupo de especialistas internos en esto. La mayoría de las personas no entienden este extremo del negocio, pero es crítico porque la miniaturización / compactación requiere piezas muy no ISO para los sujetadores (tornillos, por ejemplo: tornillos de ala Y de acero de baja resistencia, con roscas de 0.2 mm en Apple Watch) , pestillos y mecanismos de interruptor basculante / deslizante / MOM y conectores personalizados (por ejemplo, puerto oculto de 6 pines en Apple Watch).
- Fundiciones con MEMS estables, FinFET , reglas de diseño y procesamiento de $ 50B agregados, 2012-ahora) revelan lo mismo.
- Accesibilidad de IP de diseño del sensor : la IP no solo debe ser buena, sino que debe defenderse contra reclamos frívolos. Los diseños verificados / aprobados por confiabilidad son inmensamente valiosos.
- Sensor de fusión / SLAM algo de accesibilidad IP . Muchas organizaciones de AR / VR comienzan a construir MVP utilizando algoritmos de principios básicos apenas funcionales. Las funciones básicas de las librerías de código abierto están bien, pero no escalan bien. Es más fácil pagar por una IP especializada que desarrollar la autocalibración. rutinas o espere años para que SLAM funcione correctamente. Ejemplo: Bradski fue una de las primeras contrataciones de Abovitz. Hay alrededor de 100 personas en el mundo con los conocimientos para hacerlo bien. Lo más probable es que no estén en tu equipo.
- Embalaje 3D IP y equipos industriales, para el diseño del sistema en paquete. Muy pocas organizaciones se especializan en diseño / simulación de empaques 3D.
- Herramientas de simulación EMC / EMI y EDA . Crítico debido a la proximidad al cuerpo y al embalaje ajustado con componentes físicamente uno encima del otro.
- Envuelva alrededor de flex de ultra alta densidad , materiales y fabricantes. Para que las flexiones sean ‘envolvebles’ o flexibles, las trazas no deben fallar cuando se doblan, sino que deben ser lo suficientemente delgadas como para doblarse fácilmente. Estos son criterios de diseño antagónicos y difíciles de fabricar de manera confiable a escala.
- Fabricantes de interconexión de factor de forma pequeño. Otro papel ingrato, detrás de escena, pero esta es la razón por la cual los dispositivos se vuelven más delgados o pequeños, no la ley de Moore. Los semi chips más pequeños ayudan, pero la confiabilidad en el empaquetado de circuitos integrados, los moldes y la tecnología de interconexión es lo que permite que las señales se transfieran. Muy pocas compañías especializadas pueden manejar grandes volúmenes de interconexiones personalizadas.
- Empresas de ancho de banda / fibra / telecomunicaciones . También multi hop / mesh network h / wf / w compañías desarrolladoras. IoT necesita una pantalla y pueden ser configuraciones AR / VR junto con teléfonos inteligentes. Hay un gran esfuerzo detrás de escena para controlar este espacio, que se considera un gran crecimiento. Los jugadores atrincherados están liderando este esfuerzo. No todas son compañías de redes tradicionales.
- Análisis de factores humanos – Los cuerpos humanos tienen distribuciones de dimensiones estadísticas – Texto de Dreyfuss La medida del hombre y la mujer no le proporciona datos utilizables digitalmente. Las empresas se especializan en recopilar datos estadísticos del cuerpo y presentarlos en formularios útiles (incluidos CAD, elementos finitos y nubes de puntos). Luego están los conjuntos de datos de marcha, forma, estructura y postura que a los diseñadores les encanta tener. Esta industria seguramente se beneficiará de todo tipo de wearables.
- Ciclos fabulosos para jugadores más fables y pequeños.
- Organizaciones de polímeros y sus consultores. Los polímeros y las recetas específicas se usan en todo, desde mecánica hasta óptica, desde empaques hasta flexiones y fibras. El Kapton XC de Dupont utilizado en las flexiones sigilosas de Apple es un ejemplo.
- Metrología óptica industrial / homogeneidad del campo de luz / iluminación Fabricantes de herramientas de medición de PSF. Diseño de Cohu / Delta para equipos de línea, Nikon, Hexagon, un grupo de empresas europeas.
- Políticas regulatorias sobre fatiga ocular / exposición a la iluminación. Se emitirán pautas y habrá algunas posturas. Ver nota sobre riesgos para la salud a continuación.
- Tiendas físicas para canales de distribución.
Nota sobre regulaciones y riesgos para la salud (cc. Colin Jensen)
Los dispositivos montados en la cabeza estarán sujetos a los mandatos de la FCC y la FDA (21CFR1000.15). Los fabricantes de dispositivos intentarán forzar una supervisión exclusiva de la FCC al rechazar cualquier aplicación médica, pero el FD&C sec. 531 deja en claro que dichos dispositivos deberían requerir la supervisión de la FDA. Sin embargo, al final esto puede ser una cuestión de aclaración legal que realmente no se puede predecir.
Las regulaciones de la FCC son turbias y no estoy seguro de cómo la agencia llega a sus conclusiones. Las operaciones de la FDA son más claras, o tal vez estoy más familiarizado, así que me concentro en eso.
En términos generales: los productos de primera generación tendrán advertencias y advertencias estándar
eliminar / reducir la responsabilidad ( 16 años de edad, etc.). En la práctica, la FDA no ‘persigue’ a las empresas incipientes a menos que sea notorio o reciba quejas o informes de preocupación de la comunidad médica en ejercicio. Primero estudiará los efectos fisiológicos bajo la supervisión de expertos, luego emitirá directrices, finalmente creará regulaciones y estándares que los fabricantes de equipos tendrían que seguir. Esto lleva tiempo y los comentarios de la industria siempre se buscan y se tienen en cuenta.
A menos que se considere absolutamente peligroso, el comercio puede permitirse hasta que las directrices sean
emitido. Si el panel de expertos encuentra posibilidades significativas de que ocurran lesiones, seleccionará una clasificación para tales dispositivos cercanos al ojo (Clase I es la más segura, III es la peor). los
Near Eye Industry luchará para clasificar sus productos en la Clase I en el peor de los casos .
Los dispositivos basados en LCD / DLP pueden declararse clase I dependiendo de los lúmenes brutos que emiten, entre otros factores. Es posible que muchos dispositivos AR no requieran clasificación en absoluto, especialmente si funcionan con batería, ya que la potencia limitada restringe la salida de iluminación. Sin embargo, esto no es cierto para dispositivos atados como los de Oculus. Pueden intentar aumentar el brillo de la pantalla, lo que puede aumentar los riesgos para la salud (ver más abajo).
Google / Magic Leap, si usan diodos láser como fuentes, puede obtener una Clase II (presentación obligatoria de 501k ya que no hay productos equivalentes que brillen con láser en sus ojos durante largos períodos de tiempo). El aumento de los costos regulatorios puede transmitirse a los clientes. La regulación también puede obligar a que tales dispositivos de ojo cercano o de alto lumen atados se vendan bajo orientación médica u ocupacional, etc.
Riesgos para la salud: las categorías generales son
(A) enfermedad del simulador
(B) Exposición repetida / prolongada.
La enfermedad del simulador es una discusión en curso: algunos opinan que la enfermedad inicial se puede superar con sentarse + aclimatarse con el tiempo. Asumen que esta barrera inicial no restringirá la adopción. No estoy de acuerdo, pero no me detendré en esto.
Exposición prolongada: la física de los sistemas montados en la cabeza, con su brillo, lentes cerca del ojo, temperatura moderada, presión y dosis de exposición electromagnética y las correas + peso del sistema definitivamente debe requerir supervisión fisiológica / oftalmológica. Por ejemplo, algunos diseños envolventes basados en correas aumentan la presión mecánica o el estrés físico en las venas / arterias temporales , occipitales y angulares / faciales superficiales . La física (movimiento inercial, distribución de masa excéntrica) de los engranajes montados en la cabeza conducirá a condiciones similares o peores que las que comúnmente causan ‘latigazo del casco’ o brazos de gorila para los controladores. También se espera RSI con cuellos, brazos no compatibles.
Tenga en cuenta que estos son los problemas obvios: habrá otros, como los relacionados con el reflejo del parpadeo, la hipertensión ocular, el trauma en los sistemas orbitales generales y muchos otros. No tengo experiencia para evaluar esto.
Los riesgos deberán evaluarse frente a los beneficios. Muchas preocupaciones pueden ser abordadas a través de ingeniería apropiada y control de calidad. Solo espero que los diseñadores de sistemas sigan un principio de ” no hacer daño ” o ALARP y consideren tales problemas en el diseño de su sistema.
¿Es la regulación médica una barrera de entrada? Depende No para la mayoría de los jugadores, pero sí para los cerveceros caseros. La responsabilidad recae en los primeros dispositivos que muestran que no son peligrosos. Después de eso, cualquier otro fabricante solo necesita reclamar equivalencia con el primer dispositivo. Esto aún puede disuadir a algunos jugadores que no están familiarizados con las políticas y obstaculizar las inversiones en dichos jugadores.
NB: una clasificación de clase III es altamente improbable, pero podría resultar muy peligrosa para la industria de AR / VR.
Sin embargo, espero que no haya obstáculos regulatorios hasta al menos 2018 o más tarde.
Nota sobre el canal de contenido y los bloqueos de la tienda de aplicaciones
Todos los principales jugadores (Microsoft / Hololens / Windows Store, Google / Magic Leap / Play store …) tendrán sus propios canales de contenido. Es difícil esperar que Steam o cualquier canal no afiliado, aquellos que no están afiliados con un fabricante importante de sistemas operativos o de sistemas operativos, tengan éxito; Ejemplo: Leap Motion, la tienda de aplicaciones de Amazon no funcionó demasiado bien. Otro ejemplo, los fondos de los desarrolladores, como los creados por Highland para Leap Motion, no funcionan para crear un ecosistema natural cuando compiten contra las tiendas de aplicaciones integradas.
Una tienda de aplicaciones genérica e independiente del sistema enfrenta grandes problemas, como se demostró inicialmente por la fragmentación en la tienda de juegos de Google, donde muchas aplicaciones no funcionaban igual o en absoluto en diferentes versiones de teléfonos Android. Por lo tanto, plataformas como OpenVR enfrentan grandes obstáculos. Los productos h / w de primera generación con gran subsistema y fragmentación del rendimiento a nivel h / w y OS no pueden simplemente ser virtualizados en software desde el principio.
Este punto se pronuncia especialmente si su tecnología de pantalla solo usa física diferente para llevar la información a los ojos de los usuarios (Magic Leap – campo de luz, Oculus et al – pantallas estereoscópicas, Hololens TBD) o usa diferentes tipos de sensores y algoritmos de reconocimiento con diferentes niveles de resolución / precisión para capturar entradas. Si sus pilas de inmersión / interacción son diferentes, introduciría enormes ineficiencias / hinchazón al tratar de virtualizar todas las combinaciones de hardware posibles en una sola API. Algunas opciones de IU pueden dejar de tener sentido en diferentes opciones de pila / controlador.
Sobre por qué las compañías de GPU de escritorio no tienen un impuesto garantizado
- Porque no son comunes a todas las canalizaciones de gráficos AR / VR.
- Los equipos de realidad virtual basados en juegos pueden necesitarlos, pero los márgenes de referencia h / w son bajos y el mercado más amplio no es receptivo al rendimiento premium h / w.
- Los impulsores del mercado pueden ser de baja potencia / pequeña huella / movilidad y costo, una vez que se garantiza el rendimiento de referencia.
Muchas compañías h / w preferirían desarrollar sus propios SoC de baja potencia eventualmente, especializados en su propio conjunto de tecnología en lugar de pagar una prima por sistemas genéricos (ver punto sobre verticales integrados; Ejemplo: Apple y PowerVR / Imagination Tech IP, Cadence / Tensilica , Sinopsis ..). Las GPU tradicionales son buenas para el desarrollo genérico con hardware extraído, pero la optimización del rendimiento comienza en el diseño arquitectónico. [Soy un tipo h / w podrido sesgado, se puede decir]
Puede mezclar y combinar IP y fundiciones. Los FinFET de menos de 20 nm ahora son estables y un gran problema para los SoC de movilidad de próxima generación. Por lo tanto, dependiendo de la estrategia de compromiso + de una organización, no es tan difícil desarrollar motores de gráficos optimizados para aplicaciones a nivel de diseño del sistema sin dejar de obtener la próxima generación fabulosa. La reducción de las dependencias generacionales en arquitecturas externas es generalmente una buena idea y le brinda un mejor control en las experiencias de orientación.
Creo que la posición de que ‘las GPU de escritorio son obligatorias’ proviene de suponer que VR / AR == Performance gaming y Oculus; No juegos casuales, no empresariales, no productivos. Dudo esto
Desde una perspectiva h / w de pantalla: los píxeles necesitan suficiente tiempo de transición física para poder cambiar realmente rápido. Solo los microLED tienen el tipo de tasas de actualización mencionadas en el artículo de Binstock en ingeniería de diseños estables. Y los cristales líquidos no cambian tan rápido, porque estamos hablando de histéresis y es una torsión mecánica. Los LC ferroeléctricos sí, pero aún no están fuera de los laboratorios. Los DLP pueden, pero tienen problemas de sonido de llamada y de arrastre que tienen que pasar más tiempo reparando, de lo contrario, obtendrá jitter y rotura de color (los píxeles más pequeños == peor problema). Esa es una de las razones por las que la fotónica de estado sólido es tan importante. Las pantallas basadas en LC pueden funcionar para AR con descompresión / actualización basada en regiones selectivas, pero AR no suele usar pantallas LCD. Tenga en cuenta la divulgación a continuación.
Por lo tanto, las pantallas de la generación actual no admiten actualizaciones de locos> 90Hz de pico: esto implica que no hay necesidad de compatibilidad con GPU 120FPS.
La tecnología LBS de Magic Leap también puede superar las velocidades de actualización (90Hz) fácilmente, y definitivamente necesitarían un SoC personalizado para adaptarse a su diseño de movilidad.
Nota sobre el FPS ‘150Hz’ que los ojos pueden detectar: ese es un número que aparentemente arrojó un foro de juegos de WoW y creo que es inexacto. Los ojos no escanean en cuadros consistentes (vea el trabajo de Andrew Watson en la NASA sobre fisiología de la percepción visual, o Holmqvist et al, Guía completa de métodos y medidas de seguimiento ocular 2015). Fisiológicamente, si tuviéramos que converger a un número, sería mucho mayor y correríamos el riesgo de forzar múltiples conceptos de sensibilidad fotónica biológica, respuesta de contraste y percepción de visión / movimiento en un concepto genérico no muy útil de velocidades de cuadros de hardware.
Los procesos fisiológicos reales de la percepción de la visión son muy relevantes para las personas que se muestran cerca del ojo, fíjate. Pero esa es otra discusión en otro lugar.
Me doy cuenta de que enfocé los aspectos menos glamorosos del diseño de productos y los ciclos de vida aquí, pero bueno, esto es lo que se necesita. Algunos pobres pobres tienen que sentarse y resolver estas cosas para que podamos soñar nuestros sueños de arcoíris en powerpoints, limpiar API e imágenes CAD renderizadas.
Deliberadamente evito tomar nombres específicos, excepto GlobalFoudries / TSMC / Samsung Semi, porque el bloqueo depende de quién esté dispuesto a tomar la mayor apuesta en este mercado. Muchas organizaciones que juegan aquí todavía no han mostrado un compromiso profundo, excepto tal vez Microsoft y Google.
Divulgación: diseño, construyo, analizo sistemas microelectromecánicos y hardware optoelectrónico para la tecnología de visualización / imagen utilizada en motores de luz ultra-miniatura (pico) y tecnología de sensores para interfaces hombre-computadora en Ostendo, una compañía de tecnología de visualización en SoCal que también fabrica Productos de ojo cercano. Inventé una pila de sensor + algoritmo llamada deepSense con aplicaciones en AR / VR / Biomed / robótica y la vida real. Es lo mejor desde el gato Nyan. Soy totalmente de esa opinión.
