#Review – #Hololens, #hardware and how the hologram process works !

      Hola ! Tenía este post en modo draft desde hace tiempo, y justo hoy @Rfog me preguntó en Twitter a que velocidad (FPS) trabajan las Hololens. Así que he retocado unpoco el post para comentar como trabajan las Apps en Hololens. @rfog42 juar next video en el otro muro ! Las Apps […]

giphy-2

Hello!

I had this post in draft mode for while, and just today @Rfog asked me on Twitter about the speed (FPS) on the Hololens. So I’ve tweaked some post to comment as Hololens work Apps.

Hololens Device

Let’s start from the beginning, Hololens has everything we can found for standard Windows 10 device:

  • 579 grams
  • Uses a micro USB port for charginf
  • 2 to 3 battery hours
  • 32-bit Intel chip
  • 2GB RAM (with an additional 1GB of RAM for the HPU)
  • 64GB Flash storage
  • 2MP frontal camera
  • Video recording at 30FPS – 720p
  • Bluetooth 4.0 and Wifi

On the HPU, the best is to refer what was shared in The Register

HPU is a TSMC-fabricated 28nm coprocessor that has 24 Tensilica DSP cores. It has around 65 million logic gates, 8MB of SRAM, and an additional layer of 1GB of low-power DDR3 RAM. That RAM is separate to the 1GB that’s available for the Intel Atom Cherry Trail processor, and the HPU itself can handle around a trillion calculations per second.

Tom Warren, from The Verge, had exclusive access to a “piece by piece” of Hololens. If anyone is interested in more details, the following 2 minutes are essential.

By the way, after seeing this, there is no doubt that Hololens is a piece of art!

Hololens Holographic Features

And now let’s talk about some of the holographic capabilities of the device. One of the most frequent complaints is the small size of the FOV. FOV represents the Field of View, which is the point of view of the user. Here for each eye, we have a 720p resolution, or what is the same 1268 × 720.

The main difference when compared to other devices to Hololens complement dedicated to Virtual reality, is that this 2nd group of devices require work to a few 90FPS or more to make “realistic” experience. With less FPS are symptoms of dizziness, disconnection, etc.

The Hololens scenario is different. As the user sees reality through the lens he is alwasy connected to the reality; holograms are projected in the lens, so that’s why the device avoid these feelings of dizziness or lost of connection. And this is why it is possible to lower the FPS for Apps. Microsoft recommendation is that Apps in Hololens work at 60 fps. And here we must also understand a little how the Hololens to understand this concept.

HoloLens continuously calculates the position and orientation of the head of the user in relation to its surroundings. When an App begins to prepare the next frame to be projected, Hololens predicts where the user’s head will be in the future at the exact moment that the Frame will be displayed on the screens. Based on this prediction, the system calculates the view and projection for that Frame. Here is where the HPU comes into play, since it is responsible for all this work. 

Holograms Interaction Distance

Another important detail is the distance which the holograms are projected / displayed. In the Design Guide and Principles for Mixed Reality (see references) we found a nice and very detailed explanation:

Interaction with holograms presents your best experience between 1.25 m and 5 m.

 

hololens-hologram-placement-100647965-large

2 meters is the optimal distance, and the experience will degrade if we come up less than 1m. Less distance we will not see holograms, or see them “cut”. The design recommendations aim to use techniques of fading out or clipping in these scenarios.

Hololens Audio

Audio time ! This is a very powerful topic in Windows Holographic and not mentioned very often..

In HoloLens, there is an audio engine which completes the experience of mixed reality through the simulation of sound 3D by environmental simulations, distance and direction. This is known as SPATIAL SOUND

clipboard03

When we use Spatial Sound in an App, this locates us developers sounds in a 3 dimensions space all around the user that uses the Hololens. Sounds will then appear as if it came from real physical objects or holograms of mixed reality in a user environment. I personally think that the Spatial Sound helps to create a much more credible experience and immersive.

This is an interesting topic to read and learn. Analysing how much sound reaches our ears, our brain determines the distance and the address of the object emitting the sound. HRTF or Head Related Transfer Functions, allows you to simulate this interaction that characterizes as an ear receives sound from a point in space. Spatial Sound uses custom HRTFs to extend the mixed world holographic experience and simulate the sounds coming from different directions and distances.

Greetings @ Toronto

El Bruno

References

Advertisements

#Review – Despiece de #Hololens, #hardware y cómo funciona el proceso de Hologramas

 

 

 

giphy-2

Hola !

Tenía este post en modo draft desde hace tiempo, y justo hoy @Rfog me preguntó en Twitter a que velocidad (FPS) trabajan las Hololens. Así que he retocado unpoco el post para comentar como trabajan las Apps en Hololens.

Hololens Device

Empecemos por el principio,  el device tiene lo que podemos encontrar en un equipo medio para Windows 10:

  • Peso, 579 gramos
  • Se carga por un puerto micro USB
  • 2 a 3 horas de batería
  • 32-bit Intel chip
  • 2GB RAM (with an additional 1GB of RAM for the HPU)
  • 64GB Flash para el disco
  • 2MP cámara frontal
  • La cámara permite grabar video a 30FPS en 720p
  • Soporte para Bluetooth 4.0 y Wifi (no tengo en claro cual)

Ahora bien sobre el HPU, lo mejor es referirse a lo que comentan en The Register

HPU is a TSMC-fabricated 28nm coprocessor that has 24 Tensilica DSP cores. It has around 65 million logic gates, 8MB of SRAM, and an additional layer of 1GB of low-power DDR3 RAM. That RAM is separate to the 1GB that’s available for the Intel Atom Cherry Trail processor, and the HPU itself can handle around a trillion calculations per second.

Tom Warren, de The Verge, tuvo acceso exclusivo a un “despiece” de Hololens. Si alguno está interesando en el detalle, los siguientes 2 minutos son imprescindibles.

Por cierto, después de ver esto, hay alguna duda que Hololens es una obra de arte!

Hololens Holographic Features

Y ahora hablemos un poco de las capacidades holográficas del device. Una de las quejas más frecuentes es el tamaño reducido del FOV. FOV representa el Field of View, que es el punto de vista del usuario. Aquí para cada ojo tenemos una resolución de 720p, o lo que es lo mismo 1268×720.

La principal diferencia que encontramos cuando comparamos a Hololens con otros dispositivos complemente dedicados a Realidad Virtual, es que este 2do grupo de devices requieren trabajar a unos 90FPS o más para que la experiencia sea “realista”. Con menos FPS empiezan los síntomas de mareo, desconexión, etc.

El caso de Hololens, es diferente. Como el usuario ve la realidad a traves de las lentes; y en las mismas se proyectan los hologramas, se evitan estas sensaciones de mareo o de deconexión. Y es por esto que es posible bajar un poco los FPS para las Apps. La recomendación de Microsoft es que las Apps en Hololens trabajen a 60FPS.  Y aquí también tenemos que comprender un poco como funcionan las Hololens para comprender este concepto.

HoloLens calcula continuamente la posición y orientación de la cabeza del usuario en relación con su entorno. Cuando una App comienza a preparar el siguiente fotograma, Hololens predice donde la cabeza del usuario estará en el futuro en el momento exacto que ese Frame se mostrará en las pantallas. Basado en esta predicción, el sistema calcula la vista y proyección para ese Frame. Aquí es donde el HPU entra en juego, ya que es el encargado de realizar todo este trabajo. 

Holograms Interaction Distance

Otro detalle importante es la distancia a la que se proyectan / visualizan los hologramas. En la gúia de diseño y principios para Mixed Reality (ver referencias) se explica muy al detalle. Y esta es la mejor forma de presentarlo:

La interacción con hologramas presenta su mejor experiencia entre 1.25 metros y 5 metros.

 

hololens-hologram-placement-100647965-large

2 metros es la distancia óptima, y la experiencia se degradará si nos acercamos hasta un metro. A menos distancia no veremos hologramas, o los veremos “cortados”. Las recomendaciones de diseño apuntan a utilizar técnicas de fading out o clipping en estos escenarios.

Hololens Audio

Ahora el tema audio. Este es un tema muy potente en Windows Holographic y no se menciona muy frecuentemente.

En HoloLens, el motor de audio completa la experiencia de realidad mixta mediante la simulación de sonido 3D mediante simulaciones ambientales, distancia y dirección. A esto se lo conoce como SPATIAL SOUND

clipboard03

Cuando utilizamos Spatial Sound en una App, esto nos permite a los desarrolladores colocar sonidos en un espacio de 3 dimensiones todo alrededor del usuario que utilice las Hololens. Los sonidos entonces parecerán como si provinieran de objetos físicos reales o los hologramas de realidad mixta en un entorno de usuario. Personalmente pienso que el Spatial Sound ayuda a crear una experiencia mucho más creíbles e inmersiva.

Este es un tema interesante para leer e informarse. Analizando cómo sonido alcanza tanto nuestros oídos, nuestro cerebro determina la distancia y la dirección del objeto emite el sonido. HRTF o Head Related Transfer Functions, permite simular esta interacción que caracteriza como un oído recibe sonido desde un punto en el espacio. Spatial Sound utiliza HRTFs personalizadas para ampliar la experiencia holográfica del mundo mezclado y simulan los sonidos que vienen de diferentes direcciones y distancias.

 

Saludos @ Toronto

El Bruno

References