#MixedReality – #Hololens new, #Steam partnership, a new Halo, new Devices, maybe a #Minecraft VR and more!

I2

Hi !

Today I’ll share some updates in the Mixed Reality and Hololens world. Before the big announcement on IFA, there is a good idea related to Hololens:

LimpidArmor presented a hybrid between a helmet and Hololens. This device is integrated with cameras outside a tank to give the Hololens user a 360-degree view of both optical and thermal systems without exposing them to additional risk.

I really like the photo, and if you want to see more pictures and some field tests, their Facebook page have some other materials.

i3

And, after this quick intro, it’s time to share some of the big Microsoft announcements during the IFA keynote on Berlin, Germany.

Microsoft Mixed Reality to get support for SteamVR, Minecraft and Halo starting this holiday season

Wow! In the references section you can read some articles with more details. I’ll try to highlight the more important topics:

  • Microsoft announced a collaboration with 343 Industries to add Mixed Reality Experiences to Halo. I’m a long time Halo fan, so this is amazing for me!
  • As part of the presentation, Microsoft also shared a long term view on which types of devices will be required to use MR capabilities. This is important because usually we think on VR devices and Expensive Ones, and Microsoft took a different approach here. There will be 2 types of devices:
    • Windows Mixed Reality PCs: will consist of desktops and laptops with integrated graphics.  When plugged into these devices, our immersive headsets will run at 60 frames per second.
    • Windows Mixed Reality Ultra PCs: will consist of desktops and laptops with discrete graphics. When plugged into these devices, our immersive headsets will run at 90 frames per second.
  • And, IMHO the best one. Microsoft is partnership with Steam, I may mean SteamVR. You probably know Steam, and they been investing and working in their VR branch for a while. Virtual Reality is not new for them. Using SteamVR you can already play and use several titles for Oculus Right or HTC Vive. I’m sure the path for Mixed Reality will receive some great ideas and maybe more from the Steam group. Also the chance to have some titles in the Steam Store for the new Mixed Reality devices is a very interesting approach.

So, these partnerships, new projects and devices may open the chance to enjoy Minecraft VR in the new Windows 10 Mixed Reality devices. Also maybe in 4K. If you don’t know Minecraft VR, please take a look at this video

Greetings @ Burlington

El Bruno

References

 

Advertisements

#MixedReality – Algo de #Hololens, partnerships con #Steam, un nuevo Halo, nuevos Devices y tal vez un #Minecraft VR!

I2

Hola!

Hoy toca un repaso por un par de novedades relacionadas con el mundo de Mixed Reality y Hololens. Antes de la gran noticia que dio Microsoft ayer, comienzo con una que es bastante interesante:

LimpidArmor ha presentado un casco que integra unas Hololens y se integra con cámaras fuera de un tanque. El usuario del caso, gracias a Hololens tiene una visión de 360 grados tanto de sistemas ópticos como termales sin exponerlos a riesgos adicionales.

La foto es impresionante, y en su página de Facebook se pueden ver un par de fotos con pruebas de campo.

i3

Ahora vamos a la noticia principal después de las declaraciones y anuncios que ha hecho el equipo de Microsoft en la keynote del evento IFS en Berlín, Alemania.

Microsoft Mixed Reality to get support for SteamVR, Minecraft and Halo starting this holiday season

Wow! En las referencias dejo un par de artículos donde se pueden encontrar muchos detalles, pero mejore vamos por partes que hay un par de bullets más que interesantes:

  • Microsoft ha anunciado que están trabajando con 343 Industries para traer a Halo al mundo de Mixed Reality.
  • También se ha presentado un plan de ordenadores para poder utilizar los VR Devices:
    • Windows Mixed Reality PCs: will consist of desktops and laptops with integrated graphics.  When plugged into these devices, our immersive headsets will run at 60 frames per second.
    • Windows Mixed Reality Ultra PCs: will consist of desktops and laptops with discrete graphics. When plugged into these devices, our immersive headsets will run at 90 frames per second.
  • Finalmente el partnership que promete y mucho es el que han presentado con Steam. Si conoces Steam, seguramente sabes que desde hace un tiempo están trabajando en SteamVR. El mundo de realidad virtual no es nuevo para Steam, ya tienen muchos títulos que se pueden utilizar con HTC Vive o con Oculus Rift. Veremos que tal integra la realidad mixta.

Estos partnerships, proyectos y devices nos dan a entender que tal vez no tengamos que esperar mucho tiempo para poder disfrutar de un Minecraft VR en los nuevos devices de Windows 10 Mixed Reality. Y tal vez en 4K. ¿Todavia no sabes que es Minecraft VR? Pues toma un video

Saludos @ Burlington

El Bruno

References

 

#MixedReality – Windows Mixed Reality Dev Kits ready for preorder and some brand new hand controllers !

Hello!

Today is the 2nd Day of Build and yesterday main focus was on Azure and AI, today it has been on Windows 10. In addition to a refresh on creators update and many innovations for developers, today the HP and Acer augmented reality sets have been officially presented. You can preorder the Dev Kits online by $299 (Acer) and $329 (HP) (Acer, HP). One interesting topic in that you do not need an external tracker for the spatial mapping and for the motion control. I’m looking forward to try this and to feel the experience.

However, what I have to emphasize today’s presentation is the ability to work with external controllers in Virtual Reality, very similar to Oculus Touch VR controllers.

Up until today, we could interact with the virtual environments using hand gestures or voice commands. The quality and precision of the hand gestures are not as good as you imagine when you start to works with holograms. This is why having an additional device, of the motion controller type, will help a lot in creating experiences for virtual environments.

Yes, from what I see in the official documentation (link), these controllers are not intended for Hololens, only for the Windows Mixed Reality Dev Kits (Acer and HP for now). The way they work is based on the gestures we already know for Hololens. They will allow actions of the type gaze and commit or point and commit. They also have buttons, touchpad and a joystick, so interaction capabilities are much more powerful than a hand-only scenario.

For now we don’t have an estimated price. It is time to have patience and wait for the summer when the mixed reality dev kits begin to release and at that time we will also have access to buy the controllers.

Greetings @ Toronto New Offices

El Bruno

References

#MixedReality – Sets de VR en modo preorder y también con soporte para controllers!

 

Hola !

2do día de Build y si ayer el foco fue Azure y AI, hoy lo ha sido Windows 10. Además de un refresco sobre Creators Update y muchas novedades para los desarrolladores, hoy se han presentado oficialmente los sets de Realidad Aumentada de HP y de ACER. Los mismos se pueden preordernar en la web por $299 (Acer) y $329 (HP) cada uno (Acer, HP). Es interesante en estos Dev Kits que los mismos no necesitan un tracker externo para el spatial mapping y para el control de movimiento.

Ya habíamos visto estos Dev Kits y es una buena noticia poder tener la capacidad de acceder a los mismos. Sin embargo, lo que más tengo que recalcar de la presentación del día de hoy es la capacidad de trabajar con unos mandos externos, similares a Oculus Touch VR Controllers.

Hasta el día de hoy, podíamos interactuar con los entornos virtuales utilizando gestos con nuestras manos. La calidad y precisión de estos gestos deja mucho que desear cuando uno trabaja con hologramas. Es por esto que tener un device adicional, del tipo Motion Controller, ayudará mucho en la creación de experiencias para los entornos virtuales.

Eso sí, por lo que veo en la documentación (link), estos controllers no están pensados para Hololens, solo para los Mixed Reality Kits de ACER y HP (por ahora). La forma en la que trabajan, está basada en los gestos que ya conocemos para Hololens y con los mismos permiten hacer acciones del tipo gaze and commit o point and commit. Al tener botones, touchpad y un joystick, la capacidad de interacción es mucho más potente que solo con la mano.

Por ahora no tenemos un precio estimado. Es momento de tener paciencia y esperar al verano cuando empiecen a liberarse los Mixed Reality Dev Kits y en esa época también tendremos acceso para comprar los controllers.

Saludos @ Toronto new offices

El Bruno

References

#Microsoft – There were more than #Surface Laptop on Microsoft event 2 days ago: #MSTeams and #3D

Hi !

A couple of days ago, Microsoft hosted an event were they revealed a new device for the Surface family: Surface Laptop. It has everything you may expect from a Surface device: great presentation, amazing hardware features and a couple of “buts”. In example, the lack of color options in the top level hardware models and the lack of USB-C ports. Besides all of this, in less than 2 minutes you get everything you need to know about this.

 

In the 90 minutes of the event there were other interesting topics besides Windows 10 S and the Surface Laptop. I think this additional topics shows the new Microsoft path  and that’s why it’s important to give them a couple of words.

In example, Megan Saunders had a small participation on the event. In case you don’t know her, here is her title: Megan Saunders is the Windows 3D Initiative General Manager for Microsoft.

Her presentation was mainly focused on some of the new Windows 10 features: 3D, Mixed Reality and Education. As you can imagine, all the demos were based on the new Windows 10 products, and it was mainly important to remark that everything starts with Microsoft Teams! (I’ll get here later).

In a couple of minutes we can see this demo:

  • Start creating a 3D model using Paint 3D
  • Then let’s add some animation to the model using Microsoft PowerPoint
  • Share the works using Microsoft Teams

The final result is amazing and it was also a nice introduction for a new cool Windows 10 feature: View Mixed Reality. May be the best way to explain this is something like Augmented Reality ++. I’m looking forward to see the samples included on Windows 10 SDK related to this to see how far we ca go with this platform.

At the end of the presentation the staff used on of the new Mixed Reality devices (not Hololens) as part of a cool demo where we saw a cool implementation of the Solar System where the user makes a 3D navigation using an XBoxOne controller. Of course, at the end, a Hololens demo close this section.

The next 12 minutes are this part of the event:

And it was very interesting to see how Microsoft Teams was mentioned a couple of times during the event. They even presented a specific version of Microsoft Teams focused on education.

Now the teachers can set up a dashboard for their students. This dashboards will with include access to activities, tests, and lesson materials. Students will be able to use this artifacts and use MS Teams, post comments, participate on discussions, and more.

The next 10 minutes are the main focus of this new MS Teams for Education features:

I may forgot to mention the new Minecraft Education and other news. However I think only Mixed Reality and MS Teams for Education are a very good example of the way that Microsoft is shaping this new set of tools. 😀

Greetings @ Toronto

El Bruno

References

#Microsoft – Lo que (tal vez) no viste en la presentación de #Surface Laptop, #MSTeams y #3D

 

Hola !

Hace un par de días Microsoft presentó un nuevo device para la familia Surface: Surface Laptop. Como todos los productos Surface, es posee un acabado genial, unas prestaciones muy buenas y también podemos encontrarle algunos “peros”. Por ejemplo, el no poder seleccionar colores en la “gama alta” o no tener puertos USB-C.

Al margen de estos detalles, el producto parece seguir la línea Surface y solo se necesitan un par de minutos para comprenderlo.

 

Pues bien, en los 90 minutos de presentación también se tocaron un par de temas interesantes que han sido eclipsados por Windows 10 S y Surface Laptop. Personalmente creo que muestran el camino por el que va Microsoft y es necesario darles un repaso.

Por ejemplo, Megan Saunders tuvo una participación pequeña pero importante. Si no la conoces, la mejor forma de presentar a Megan es con su título: Megan Saunders is the Windows 3D Initiative General Manager for Microsoft.

Durante su presentación se tocaron las bases de la nueva versión de Windows 10: 3D, Mixed Reality and Education. Por supuesto las demos fueron alrededor de los nuevos productos de Windows 10, sin embargo todo comienza con Microsoft Teams! (este es un detalle importante,  que comentaré luego).

En pocos minutos pudimos ver una demo muy interesante

  • Crear un modelo con Paint 3D
  • Animar el modelo con Microsoft PowerPoint
  • Compartir y colaborar con MS Teams

El resultado es realmente impresionante, y dió pie a la siguiente feature que veremos en Windows 10: View Mixed Reality. Podemos pensar en esta feature como Augmented Reality ++, y la verdad es que, estoy ansioso por ver que ejemplos tenemos en el SDK de Windows 10 para ver las capacidades del mismo.

Al final de la presentación, pudimos ver uno de los nuevos Mixed Reality devices (que no son Hololens) como parte de una demo donde podemos ver el sistema solar y controlarlo con un mando de XBox One. Obviamente al final la demo se cierra con un ejemplo con Hololens.

Los siguientes 12 minutos son los que se centran en estos temas:

Lo siguiente interesante a comentar es la mención de Microsoft Teams en varias partes de la presentación. Y, en este caso, dándole importancia especial para el entorno de la educación.

Ahora los profesores tienen algunas funcionalidades especiales en Microsoft Teams para crear Dashboards para los alumnos con actividades, materiales de estudio, exámenes, etc. Y los alumnos, pues pueden utilizar MS Teams de la manera tradicional. Aquí podemos ver los 10 minutos donde se habla de Microsoft Teams

 

En el camino me queda comentar lo nuevo de Minecraft Education y otro par de novedades. Creo que solo el hecho de ver como se enfoca en entornos educativos, el modelo de Mixed Reality y MS Teams es una buena muestra del camino que está tomando Microsoft.

Saludos @ Toronto

El Bruno

References

#Opinion – Sobre la realidad mixta, el dolor de cuello con wearables y Windows Holographic en el 2020

Hola !

Durante estos últimos días he tenido la oportunidad de hablar bastante sobre Hololens. En realidad, detrás de estas sesiones hay un tema muy importante:

La forma en la que interactuamos con la tecnología está cambiando, HoloLens es un ejemplo de ello. Debemos prepararnos para adaptarnos a nuevas interfaces, nuevos modelos de interacción y a un nuevo paradigma completo que afectará la forma en la que vivimos.

Y hasta aquí el fact. El que me diga que esto no es así, puede mirar atrás y ver como un dispositivo como un smartphone ha cambiado radicalmente la forma en la que vivimos. Algo tan trivial como permitirnos estar conectados todo el tiempo, también ha abierto la posibilidad para nuevos modelos de negocio como Uber, NetFlix o inclusive Spotify (hace un par de días hablábamos con unos amigos de la época en la que rippeabamos todos los CDs de música que teníamos a MP3 … old times !)

Y entonce Microsoft presentó Hololens. Si bien la idea estaba basada en conceptos que ya existían: Realidad Virtual y Realidad Aumentada, el propio dispositivo significó un cambio importante.

Importante: Aquí hay muchos temas para tratar, por un lado es necesario tener en cuenta que es un prototipo. Es cierto que, si bien no tiene cables, igualemente tiene un peso interesante para utilizarlo 4 horas seguidas. Otro detalle es el POV, es bastante pequeño y si te esfuerzas te puedes salir de la experiencia muy fácilmente. La proyección en un ordenador remoto de la vista del usuario es algo confusa y, como suele tener un poco de delay, la experiencia queda truncada. Es imposible transmitir la experiencia Hololens utilizando un proyectos.

Dicho todo esto, lo mejor que se puede hacer con el device, es probarlo. Una vez que comienzas a utilizar las Hololens, y te has adaptado a los gestos, al Gaze y a la mecánica en general, todos esos puntos se olvidan al instante. Es completamente natural interactuar con un Holograma, y a partir del mismo proponer una experiencia de Realidad Mixta.

Puedo escribir mucho al respecto en el blog, incluso hacer podasts o webcasts. Sin embargo en el caso de Hololens la verdadera experiencia es cuando una persona prueba el device. No tengo fotos de todos los que lo han probado, la respuesta en general suele ser Wooooowww !!!

No tengo fuentes que pueda citar para comentar como será HoloLens V2, pero estoy seguro que la plataforma de Windows.Holographic será la que marque el desarrollo de apps en un futuro cercano. Fabricantes de hardware como Acer, HP, Lenovo y 3DGlasses estan creando nuevos dispositivos compatibles con esta plataforma, con precios estimados a partir de los $299 (link). Un ejemplo de esto es la apuesta de Lenovo, que parece estará en un precio entre $300 y $400.

clipboard01

Este device fue presentado en el CES 2017 hace unas semanas y es 100% compatible con Windows Holographic.

Yo hace un tiempo, comenté que los developers deberíamos tener en cuenta herramientas como Unity3D para tener un trabajo claro en el futuro. Mi apuesta de que “todas las apps serán 3D” me llevó a algunas conversaciones interesantes con amigos y colegas.

Lo que si es cierto, es que dentro de unos años las ideas de VR, AR y MR serán parte cotidiana de nuestra vida. Tal vez en acciones del día a día sean una mezcla de estas tecnologías. Ver que calorías tiene un producto en el super, utilizando la cámara de nuestro smartphone; o si tenemos alguna alergia la misma cámara nos podrá mostrar productos prohibidos para nuestra dieta.

En el caso de las aplicaciones de VR, personalmente las veo mucho más en el mundo del entretenimiento, como en previews de sitios para viajar, o en la nueva generación de consolas de video juegos. Y los conceptos de wearables como Hololens, que nos permitirán tener una percepción de la realidad más completa, es algo que solo necesita que los devices sean más portables. Yo todavía los primeros teléfonos móvil hace varios años que tenían más peso que la Surface en la que estoy escribiendo ahora 😀 … ahí queda eso.

Saludos @ Toronto

El Bruno

References

#Hololens – Getting the best of #MixedReality streaming (great for events!)

Hello!

The experience of using Hololens is great. What is a little bit more complicated is try to share that experience to other people who are not using the device. Especially when you have one or more people looking to the person using the Hololens.

What is usually done is share the view of Mixed Reality, where we can see the camera view (Point OF View POV) of the user of Hololens along with holograms.

The problem with this method is that it has a quite annoying delay, which is usually above the 4 seconds. This, actually transmits an experience quite bad for the people that are watching the interaction with Hololens.

Today I read a vvandi post, comments on a workaround for lograt have a delay of less than 1 second! It is based on creating a Mobile Hotspot from your computer where we want to do the demo and then connect the Hololens to this hotspot. The important requirement is that we need to use Windows 10 Anniversary Edition.

Here are the steps

 

  1. Open Settings // WiFi // Mobile Hotspot
  2. Turn on Mobile Hotspot
  3. Connect the HoloLens to the Mobile Hotspot Wifi
  4. Using Hololens App or Windows Device Portal, get the Live Stream
  5. Done !

It’s amazing, using a normal Wifi network, we have more than 4 seconds of delay

4 sec delay.gif

And with the optimized mode has a delay of less than 1 second !

much better.gif

Lesson learned and thanks to vvandi for sharing!

Greetings @ Toronto

El Bruno

References

#Hololens – Optimizando el Streaming de #MixedReality (especial para eventos!)

Hola !

La experiencia de usar Hololens es genial. Un poco más complicado es intentar compartir esa experiencia, especialmente cuando tienes a una o más personas mirando a la persona que usa las Hololens.

Lo que usualmente solemos hacer es compartir la vista de Mixed Reality, donde podemos ver la vista de cámara (POV, Point OF View) del usuario de Hololens junto con los hologramas.

El problema con este método es que tiene un delay bastante molesto, que suele estar arriba de los 4 segundos. Esto, realmente transmite una experiencia bastante mala para las personas que están viendo la interacción con Hololens.

Hoy he leído un post de vvandi, donde comenta un workaround para lograt tener un delay de menos de 1 segundo ! Se basa en crear un Mobile Hotspot desde el ordenador donde queremos hacer la demo y luego conectar las Hololens a este hotspot. El requisito importante es que tenemos que usar Windows 10 Anniversary Edition.

He aquí los pasos

  1. Acceder a Settings // WiFi // Mobile Hotspot
  2. Turn on Mobile Hotspot
  3. Conectar las HoloLens al Mobile Hotspot
  4. Utilizando la Hololens App o el Windows Device Portal, acceder al Live Stream
  5. Listo !

Es increíble, utilizando una red Wifi normal, tenemos más de 4 segundos de delay

4 sec delay.gif

Y con el modo optimizado tiene un delay de menos de 1 segundo !

much better.gif

Me apunto el truco y le doy gracias a vvandi por compartirlo !

Saludos @ Toronto

El Bruno

References