#Opinion – Some news on #Hololens V2, HPU V2 and how #Microsoft choose the hardware path, build their own Chips

Hi !

I was planning to write this post yesterday, however, a Canadian wasp decided that it was better to leave me almost immobilized by attacking my foot and forcing me to plan my agenda differently.

Well, Marc Pollefeys (director of Science in the Hololens team) shared some information about the new version of Hololens. Until the code name is made public, I will refer to the new device as Hololens 2. What he tells us is a simple and powerful message:

The new HPU chip included in Hololens 2 will have Deep Neural Networks capabilities. (It means Artificial Intelligence!)

Let’s not forget that this is not new for Microsoft, but let’s also keep in mind that Microsoft is not dedicated to the design and creation of chips such as those we know from Intel or AMD. For years until now Microsoft is investing in R&D for a new generation of chips. Those chips are currently used mostly in the Azure Data Centers. In fact, it all started back in 2012, when Doug Burger presented a risky bet to Steve Ballmer: Project Catapult.

Doug commented to Steve that, in the near future, Internet would be controlled by a handful of group companies that would provide essential services for users. This “new Internet” would require a different architecture as a base platform. If Microsoft wanted to be part of this “new Internet”, they should not only build the OS and the Software, but they also had to take care of the hardware of the servers, manage the networks and more. It seems that at this moment Steve Ballmer change his face into a Gear of Wars Bad Boss, his eyes were all red and he responded with a “I thought this would be a research meeting, non a strategy one.

Note: I have been fortunate to meet Steve Ballmer face to face, and the energy that he has is impressive. While I have seen him in happy and animated mode, I imagine that a 1:1 in discussion mode should require special skills to pull the conversation forward.

And the Qi Lu appeared (he was in charge of Bing), he was added into the discussion. It seems that Qi Lu also had a similar idea in his head: the need to build re programmable聽chips, allowing upgrades much faster than those that were running at that time.

And there was more, the Bing team had already started to work on this, from here we began to read the term FPGA much more often in some areas. (FPGA: Field programmable gate arrays). And that’s me on this part of the story. This is quite interesting and I recommend reading the Wired article (see references).

Let’s go back to 2017 with Hololens 2 and the new HPU 2 (HPU: Holographic Processing Unit). The task performed by the HPU in Hololens version 1 is to coordinate, analyze and present a coherent result of the information obtained by the device of all sensors. In other words:

The HPU merge information from different sources: motion sensor, camera, depth sensors and infrared camera sensors, with all this information the HPU is capable to determine our position in the space around us. With this information, holographic projectors can determine how and where to position the holograms that are projected in our field of vision.

To this day, this type of processing is something that is unique to the Hololens. And if it is combined with a GPU, a CPU and a battery, it allows Microsoft to have a 100% autonomous untethered device: Microsoft Hololens 馃榾

Update: Thanks聽@AlexDrenea for some typos help here!

Now, what would happen if this processor, also has some kind of DNN capacity. In some blogs they called it “AI co-processor” and we can think that it could help in tasks such as voice recognition, face detection, shape detection, image analysis and more. The first thing they have presented during CVPR17 is how these new capabilities can be used to improve Hololens’s hand tracking and hand gestures capabilities. This is the demo recorded by a conference assistant

Clipboard02.png

Now comes the time to think that we can do with a device that “does not have to constantly send all this information to the cloud”, many of these tasks will be done in local. This will allow for more fluid applications, much more natural interactions and another couple of interesting surprises.

What is true is that 2018 will be a year where we will see what’s new Hololens 2 and surely we will have many interesting surprises along the way.

Greetings @ Burlington

El Bruno

References

PS: This is my foot 12 hours after the “Bruno vs The Wasp” moment

ee7db6f7-37c7-451b-8dae-4a13e9e6d782

Advertisements

#Opinion – Novedades en #Hololens V2, HPU V2 y como #Microsoft se decidi贸 a crear sus propios Chips

Hola !

Ten铆a pensado escribir este post ayer, sin embargo, una avispa canadiense decidi贸 que era mejor dejarme casi inmovilizado al atacarme un pie y as铆 obligarme a planificar mi agenda de forma diferente.

Pues bien, Marc Pollefeys (Director of Science en el equipo de Hololens) dio a conocer un poco de informaci贸n sobre la nueva version de Hololens. Hasta que se haga p煤blico el nombre clave, yo me referir茅 a las mismas como Hololens 2. En este caso, lo que nos comenta es simple

La nueva version del chip HPU incluido en Hololens 2 tendr谩 capacidades de Deep Neural Networks.

 

Ah铆 es nada. Un detalle para tener en cuenta es que Microsoft no se dedica al dise帽o y creaci贸n de Chips como los que conocemos de Intel o AMD. Desde hace a帽os que Microsoft est谩 invirtiendo en R&D para esta nueva generaci贸n de chips que actualmente se usan mayormente en los Azure Data Centers. En realidad, todo empez贸 all谩 por el 2012, cuando Doug Burger le present贸 una apuesta m谩s que arriesgada a Steve Ballmer: Project Catapult.

Doug le coment贸 que en un futuro cercano internet estar铆a controlado por un pu帽ado de empresas que ser铆an las que brindan los servicios esenciales para los usuarios, y que este 鈥渘uevo internet鈥 requerir铆a una arquitectura diferente como plataforma base. Si Microsoft quer铆a ser parte de ese 鈥渘uevo internet鈥, no solo deb铆an construir los SOs y el software, sino que adem谩s deb铆an encargarse del hardware de los servidores, de gestionar las redes y m谩s. Parece que en este momento a Steve Ballmer se le pusieron los ojos en plan malo de Gears of Wars, con los ojos todo rojos y respondi贸 con un 鈥淎hi va la ostia ! pensaba que esta ser铆a una reuni贸n de Research no de estrategia.鈥

Nota: Yo he tenido la suerte de conocer en persona a Steve Ballmer, y la energ铆a que desprende ese hombre es impresionante. Si bien, yo lo he visto en 鈥渕odo happy鈥 y animado, me imagino que un 1:1 en modo discusi贸n debe requerir habilidades especiales para sacar adelante la conversaci贸n.

A la discusi贸n se sum贸 Qi Lu (a cargo de Bing). Parece que Qi Lu tambi茅n ten铆a la una idea parec铆a en su cabeza: la necesidad de construir chips reprogramables, que permitan actualizaciones mucho m谩s r谩pidas que las que se ejecutaban en ese momento. Es m谩s, el equipo de Bing ya hab铆a comenzado a trabajar en esto, a partir de aqu铆 se comenz贸 a escuchar el termino FPGA mucho m谩s seguido en algunas esferas. (FPGA: Field Programmable Gate Arrays). Y hasta aqu铆 llego yo, que la historia es bastante interesante y recomiendo leer un art铆culo de Wired que vale la pena leer completo (ver referencias).

Volvamos al 2017 con Hololens 2 y el nuevo HPU 2 (HPU: Holographic Processing Unit). La tarea que realiza el HPU en la version 1 de Hololens es coordinar, analizar y presentar un resultado coherente de la informaci贸n que obtiene el device de todos los sensores. Dicho en otras palabras:

El HPU hace un merge de la informaci贸n del sensor de movimiento, de la c谩mara, de los sensores de profundidad y de los sensores de la c谩mara infrarroja para determinar nuestra posici贸n en el espacio que nos rodea. Con esta informaci贸n, los proyectores hologr谩ficos pueden determinar c贸mo y d贸nde posicionar los hologramas que se proyectan en nuestro campo de visi贸n.

Hasta el d铆a de hoy, este tipo de procesamiento es algo que es 煤nico, y que permite que, al combinarlo con un GPU, un CPU y una bater铆a, podamos tener un dispositivo sin cables y 100% aut贸nomo como son las Microsoft Hololens.

Ahora bien, que pasar铆a si este procesador, adem谩s posee alg煤n tipo de capacidad de DNN. En algunos blogs lo han llamado 鈥淎I coprocessor鈥 y podemos pensar que el mismo podr铆a ayudar en tareas como voice recognition, face detection, shape detection, image analysis y mucho m谩s. Lo primero que han presentado durante CVPR17 es como se pueden utilizar estas nuevas capacidades para mejorar las capacidades de hand tracking y hand gestures de Hololens. Esta es la demo grabada por un asistente a la conferencia

Clipboard02.png

Ahora llega el momento de pensar que podemos hacer con un device que 鈥渘o tiene que enviar constantemente toda esta informaci贸n al cloud鈥, muchas de estas tareas se realizaran en local. Esto permitir谩 aplicaciones m谩s fluidas, interacciones mucho m谩s naturales y otro par de sorpresas interesantes.

Lo que si es cierto es que 2018 ser谩 un a帽o donde veremos lo nuevo que tendr谩n Hololens 2 y seguramente tendremos muchas sorpresas interesantes en el camino.

Saludos @ Burlington

El Bruno

References

PS: El estado de mi pie despu茅s de la picadura de avispa

ee7db6f7-37c7-451b-8dae-4a13e9e6d782

#Windows10 鈥 #Hololens and the new Motion Controllers and more #MixedRealitydevices

Hi !

During the past days on the Canada Hololens Tour, I’ve been answering a couple of questions related to the future of Mixed Reality devices. Some of them have been presented in the past months, and they are already available for preorder, like the HP and ACER headsets.

In the past week, on the Unity Europe 2017 event, there was an interesting session where more information was revealed 鈥Mixed Reality and the Next Evolution in Human Computer Interaction鈥. Some other partners are now also going to create devices for the Windows Holographic platform. In case you don’t know this, this is the Windows 10 common platform where Hololens and this devices will use Mixed Reality capabilities. So far, we can get devices from this other sellers

  • HP (available for preorder)
  • ACER (available for preorder)
  • ASUS
  • Dell
  • Lenovo (Available on December this year)

microsoft-motion-controller2

Note: Dell MR device will be in charge of the same team who creates XPS and Alienware, we can expect a very good device here based on the gaming experience of this teams.

This is cool, a lot of different devices will probably some different features in each one. And talking about features the next section is also important.

We are also waiting for the Motion Controllers devices presented by Microsoft on May this year. There is no preorder date, or price, however during this session they shared a chart which have a lot of important information

Mixed_Reality_foundations_difference_between_HoloLens_and_MR_Devices-1024x768

  • Motions Controllers will not work with Hololens. They will work with all the other Mixed Reality devices. I was wrong when I was guessing about this on the Hololens Tour.
  • Mixed Reality Devices will not support gesture recognition, only Microsoft Hololens will support this feature.
  • Mixed Reality Devices will not perform Spatial Mapping operations. This is not a surprise, in the presentation we saw that they don’t have any spatial mapping sensors. Maybe in some next releases, they’ll have some of this sensors? (with a very long wire).
  • All the other features like Gaze, Spatial Sound and more will be available in both platforms.

This is a great moment for AR, VR and MR. I’m waiting like a child for a present for this new devices, to start to find some cool business scenarios to use them!

Greetings @ Burlington

El Bruno

References

#Windows10 – Sobre #Hololens y Motion Controllers y nuevos dispositivos para #MixedReality

Hola!

Durante estos d铆as en el Hololens Tour en Canada, una de las preguntas frecuentes estaba relacionada con los nuevos dispositivos de Realidad Mixta que Microsoft promociona desde hace unos meses. Pues bien, HP y ACER hab铆an presentado sus Devices y ya se pod铆an preordenar los mismos.

Durante el evento Unity Europe 2017, en la sesi贸n 鈥Mixed Reality and the Next Evolution in Human Computer Interaction鈥 se ha comunicado que otros fabricantes se han sumado a la lista de fabricantes y ahora tenemos varios devices para trabajar con Windows Holographic, la plataforma de realidad mixta basada en Windows 10. Hasta el momento podemos contar los siguientes dispositivos

  • HP (disponibles para preorder)
  • ACER (disponibles para preorder)
  • ASUS
  • Dell
  • Lenovo (diciembre)

microsoft-motion-controller2

Nota: El headset de Dell ser谩 creado por el mismo equipo que crea los XPS y Alienware, podemos esperar algo grande.

Esto es genial, tener esta variedad de dispositivos nos asegura variedad de precios y seguramente de prestaciones.

Otro dispositivo que estamos esperando son los Motion Controllers que Microsoft presento en Mayo de este a帽o. Todav铆a no tenemos fecha de preorder para los mismo, pero durante la sesi贸n se mostr贸 el siguiente grafico que explica bastantes cosas

Mixed_Reality_foundations_difference_between_HoloLens_and_MR_Devices-1024x768

  • Los Motions Controllers no ser谩n compatibles con Hololens, pero si con los dem谩s Devices de Mixed Reality. Esto contradice mi especulaci贸n de la que hable bastante durante el Hololens Tour.
  • Los MR Devices no soportaran reconocimiento de gestos, solo Hololens implementara esta funcionalidad.
  • Los MR Devices no realizaran Spatial Mapping. Esto no es novedad ya que ve铆amos que los mismos no ten铆an incorporados los sensores. Tal vez en un futuro cercano, los mismos se incorporar谩n en un nuevo device (cable mas largo?).
  • Las dem谩s funcionalidades como Gaze, Spatial Sound y otras estar谩n disponibles en ambas plataformas.

La verdad es que es un gran momento para AR, VR y MR, y yo no puedo m谩s que esperar que pasen un par de meses para poder probar mis nuevos Devices y ver que nuevos escenarios puedo afrontar con los mismos.

Saludos @ Burlington

El Bruno

References

#Hololens 鈥 What to do when your app is not a 3D App!

Hi !

Today is a quick posts on Unity3D and聽Hololens, I’ve been dealing with com nice and heavy C# bot code during the past days so it’s time to go back to Hololens. So, a couple of days ago I found that my Apps were not deployed as Unity VR Apps to the Hololens, instead they were 2D UWP Apps. I usually leave all the configuration of the project to HoloToolkit.

I’ve already wrote about this. However this is a good reminder on how to do this. Go to the menu 鈥淗oloToolkit // Configure // Apply Hololens Settings鈥, and that’s it this will change the project settings to be a Unity3D Hololens enabled project. It changes the project target to UWP, the use of Direct3D, 聽it will set 鈥淔astest鈥 as the default Quality and some other internal actions.

Clipboard03

Once we apply this change, we need to restart Unity3D and then we can see all of this changes in the 鈥淏uild Settings” window.

Clipboard04

One of the important steps performed by this menus was to add 鈥淲indows Holographic SDK鈥 into our project virtual reality SDKs to be used. In my current version this was not part of the project settings process. And that’s why I found a UWP 2D version of my app in the device.

Clipboard05

It maybe related to my version of Unity3D or the HoloToolkit. However the fix is easy: add 鈥淲indows Holographic鈥 and that’s it !!!

Clipboard07

Greetings @ Toronto

El Bruno

References

#Hololens – Qu茅 hacer cuando mi app no es 3D!

Hola !

Hoy post r谩pido de Unity3D y Hololens que en el backend han sido semanas de bots y mucho C#. Hace unos d铆as me encontr茅 con un error extra帽o al momento de generar una app para Hololens desde Unity. Como siempre dejo en manos de HoloToolkit la configuraci贸n del proyecto, de las capacidades y de la Scene.

Alguna vez ya he escrito sobre esto, sin embargo es bueno recordar que para aplicar la configuraci贸n de un proyecto para Hololens en Unity3D, tenemos que acceder al menu “HoloToolkit // Configure // Apply Hololens Settings”. Esta acci贸n, cambiar谩 el target del proyecto a UWP, con Direct3D, cambiar谩 la calidad a “Fastest” y un par de acciones m谩s.

Clipboard03

Cuando aplicamos los cambios, Unity3D se reinicia y luego ya podemos ver que se han aplicado los mismos desde la ventana “Build Settings.

Clipboard04

Sin embargo, en versiones anteriores de HoloToolkit, esta acci贸n tambi茅n聽agregaba “Windows Holographic” en la lista de SDKs de Realidad Virtual que se utilizar谩n en el proyecto. Como se puede ver en la imagen siguiente, esto no sucede.

Clipboard05

Seguramente puede ser por las versiones de Unity3D y HoloToolkit que tengo configuradas. Aunque la soluci贸n es bastante simple, agregamos “Windows Holographic” y listo !!!

Clipboard07

Saludos @ Toronto

El Bruno

References

#Windows10 鈥 New Windows #MixedReality Portal

Hola ! Una de las novedades que聽incopora la 煤ltima versi贸n de Windows 10 Insiders es “Windows Mixed Reality Portal”. Ya tenemos una herramienta m谩s para la plataforma de Windows Holographic. Nota: Para ver esta app necesitamos la Build 15048 o alguna superior. Pues bien, lo ideal para probar esta herramienta es tener uno de los […]

Hello!

Windows Mixed Reality Portal is a new tool included in the latest version of Windows 10 Insiders. Another one for the Holographic Windows platform toolset.

Note: To test this app you need Build 15048 or higher.

So, the best way to test this tool is to have one of the new Windows Holographic compatible devices (e.g. Acer MR Headset). In the meantime, but we can try it out using a Simulator features, a keyboard and optionally an XBox Controller.

These are the steps to launch the Simulator

1. Search for the “Mixed Reality Portal” App

 

clipboard01

2. Launch the App

clipboard02

3. 聽I am writing this from an “old PC” and this one does not pass the minimum requirements to run the App. 聽clipboard03

4. No problem, let’s use the Simulation mode

clipboard04

clipboard05

5. Let’s start to learn on the features inside this App.

clipboard06

After I’ve used the app for a while, I’ll highlight a couple of interesting details:

  • We have the Start Menu of Windows 10 we know of Hololens
  • The app XBox seems to me that we can play in virtual/mixed聽environments, broadcasting from our XBox One.
  • I think simulation environment is the same “core” Hololens, we can see that only apps can be active at the same time 3.
  • This is important, we have the app for Windows 10 Connect that allows us to connect other devices via Miracast. This means that we can “project” our smartphone, another computer, etc within the virtual world!聽(link)

At this moment, I found a video that shows all the step by step in 7 minutes and I think that it’s worth seeing it!

 

 

Greetings @ Toronto

El Bruno

References

#Windows10 – Probando Windows #MixedReality Portal

Hola !

Una de las novedades que聽incopora la 煤ltima versi贸n de Windows 10 Insiders es “Windows Mixed Reality Portal”. Ya tenemos una herramienta m谩s para la plataforma de Windows Holographic.

Nota: Para ver esta app necesitamos la Build 15048 o alguna superior.

Pues bien, lo ideal para probar esta herramienta es tener uno de los nuevos devices compatibles con Windows Holographic (por ejemplo el Acer MR Headset), aunque lo podemos probar con el simulador y un teclado.

Los pasos para lanzar el simulador son los siguientes

1. Buscar la app “Mixed Reality Portal”

clipboard01

2. Ya podemos lanzar la app

clipboard02

3. 聽En mi caso, estoy esribiendo esto desde una “PC Vieja” y no paso los requisitos m铆nimos para ejecutar la App.聽clipboard03

4. Sin embargo, puedo configurar el modo Simulaci贸n.

clipboard04

clipboard05

5. Ahora ya podemos lanzar el modo simulaci贸n y comenzar a ver que trae el mismo.clipboard06

Despu茅s de probarlo un rato, vy a resaltar un par de detalles interesantes:

  • Tenemos el Start Menu de Windows 10 que conocemos de Hololens
  • La app XBox promeee que podremos jugar en entornos virtuales / mixtos, transmitiendo desde nuestra XBox One.
  • Me parece que el entorno de simulaci贸n es el mismo “core” que Hololens, lo podemos ver en que las apps solo pueden estar 3 activas a la vez.
  • Esta es importante, tenemos la app de Connect de Windows 10 que nos permite conectar v铆a Miracast otros devices. Esto significa que podemos “proyectar” nuestro smartphone, otro ordenador, etc dentro del mundo virtual ! (link)

Justo en este momento, encontr茅 un video de 聽que nos muestra todo el paso a paso en 7 minutos y creo que vale la pena verlo !

 

Saludos @ Toronto

El Bruno

References