#Review – Despiece de #Hololens, #hardware y cómo funciona el proceso de Hologramas

 

 

 

giphy-2

Hola !

Tenía este post en modo draft desde hace tiempo, y justo hoy @Rfog me preguntó en Twitter a que velocidad (FPS) trabajan las Hololens. Así que he retocado unpoco el post para comentar como trabajan las Apps en Hololens.

Hololens Device

Empecemos por el principio,  el device tiene lo que podemos encontrar en un equipo medio para Windows 10:

  • Peso, 579 gramos
  • Se carga por un puerto micro USB
  • 2 a 3 horas de batería
  • 32-bit Intel chip
  • 2GB RAM (with an additional 1GB of RAM for the HPU)
  • 64GB Flash para el disco
  • 2MP cámara frontal
  • La cámara permite grabar video a 30FPS en 720p
  • Soporte para Bluetooth 4.0 y Wifi (no tengo en claro cual)

Ahora bien sobre el HPU, lo mejor es referirse a lo que comentan en The Register

HPU is a TSMC-fabricated 28nm coprocessor that has 24 Tensilica DSP cores. It has around 65 million logic gates, 8MB of SRAM, and an additional layer of 1GB of low-power DDR3 RAM. That RAM is separate to the 1GB that’s available for the Intel Atom Cherry Trail processor, and the HPU itself can handle around a trillion calculations per second.

Tom Warren, de The Verge, tuvo acceso exclusivo a un “despiece” de Hololens. Si alguno está interesando en el detalle, los siguientes 2 minutos son imprescindibles.

Por cierto, después de ver esto, hay alguna duda que Hololens es una obra de arte!

Hololens Holographic Features

Y ahora hablemos un poco de las capacidades holográficas del device. Una de las quejas más frecuentes es el tamaño reducido del FOV. FOV representa el Field of View, que es el punto de vista del usuario. Aquí para cada ojo tenemos una resolución de 720p, o lo que es lo mismo 1268×720.

La principal diferencia que encontramos cuando comparamos a Hololens con otros dispositivos complemente dedicados a Realidad Virtual, es que este 2do grupo de devices requieren trabajar a unos 90FPS o más para que la experiencia sea “realista”. Con menos FPS empiezan los síntomas de mareo, desconexión, etc.

El caso de Hololens, es diferente. Como el usuario ve la realidad a traves de las lentes; y en las mismas se proyectan los hologramas, se evitan estas sensaciones de mareo o de deconexión. Y es por esto que es posible bajar un poco los FPS para las Apps. La recomendación de Microsoft es que las Apps en Hololens trabajen a 60FPS.  Y aquí también tenemos que comprender un poco como funcionan las Hololens para comprender este concepto.

HoloLens calcula continuamente la posición y orientación de la cabeza del usuario en relación con su entorno. Cuando una App comienza a preparar el siguiente fotograma, Hololens predice donde la cabeza del usuario estará en el futuro en el momento exacto que ese Frame se mostrará en las pantallas. Basado en esta predicción, el sistema calcula la vista y proyección para ese Frame. Aquí es donde el HPU entra en juego, ya que es el encargado de realizar todo este trabajo. 

Holograms Interaction Distance

Otro detalle importante es la distancia a la que se proyectan / visualizan los hologramas. En la gúia de diseño y principios para Mixed Reality (ver referencias) se explica muy al detalle. Y esta es la mejor forma de presentarlo:

La interacción con hologramas presenta su mejor experiencia entre 1.25 metros y 5 metros.

 

hololens-hologram-placement-100647965-large

2 metros es la distancia óptima, y la experiencia se degradará si nos acercamos hasta un metro. A menos distancia no veremos hologramas, o los veremos “cortados”. Las recomendaciones de diseño apuntan a utilizar técnicas de fading out o clipping en estos escenarios.

Hololens Audio

Ahora el tema audio. Este es un tema muy potente en Windows Holographic y no se menciona muy frecuentemente.

En HoloLens, el motor de audio completa la experiencia de realidad mixta mediante la simulación de sonido 3D mediante simulaciones ambientales, distancia y dirección. A esto se lo conoce como SPATIAL SOUND

clipboard03

Cuando utilizamos Spatial Sound en una App, esto nos permite a los desarrolladores colocar sonidos en un espacio de 3 dimensiones todo alrededor del usuario que utilice las Hololens. Los sonidos entonces parecerán como si provinieran de objetos físicos reales o los hologramas de realidad mixta en un entorno de usuario. Personalmente pienso que el Spatial Sound ayuda a crear una experiencia mucho más creíbles e inmersiva.

Este es un tema interesante para leer e informarse. Analizando cómo sonido alcanza tanto nuestros oídos, nuestro cerebro determina la distancia y la dirección del objeto emite el sonido. HRTF o Head Related Transfer Functions, permite simular esta interacción que caracteriza como un oído recibe sonido desde un punto en el espacio. Spatial Sound utiliza HRTFs personalizadas para ampliar la experiencia holográfica del mundo mezclado y simulan los sonidos que vienen de diferentes direcciones y distancias.

 

Saludos @ Toronto

El Bruno

References

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s