#Hololens – How To save a #3D model of the environment around the device

Hi !

During the Hololens tour, I got a couple of questions and I promised to answer them later. Here is one of them:

Can we save the surrounding environment of the Hololens in a 3D model and work with this model later?

The answer is YES, and now I’l share the necessary steps to perform this.

We need to access to the Hololens Developer Portal of our device and navigate to the option “3D View”

Clipboard01.png

When we click on the [Update] button we will see a 3D model of the current environment scanned by the device.

Clipboard02

We can use mouse and keyboard to “navigate” in this view and view details of this environment.

Clipboard03.png

Important: The Hololens device is always scanning the environment, and it’s also updating the mesh of this model. If we press again the [Update] button we will be able to see the updated changes to the model. Also, the model is not restrained to “only one room”, we can have and work with complex models including several rooms. The next image is a photo and 3D view of a corner in my home office.

Clipboard04.png

We can export this scene model in a file with OBJ format. We can import and work with this file using several tools like Unity 3D, Paint 3D or 3D Builder. The next screen shoot is my office while I polish the model in 3D Builder.

Clipboard01

Greetings @ Toronto

El Bruno

References

El Bruno, my posts

Advertisements

#Hololens – Como guardar un modelo #3D del entorno que nos rodea

Buenas!

Durante el Hololens tour, una de las preguntas que quedo pendiente de responder era

¿Es posible utilizar Hololens para guardar el mapeo 3D de la habitación en la que estamos trabajando?

La respuesta era: SI, aunque estaba pendiente comentar como realizar este proceso.
Lo primero que debemos hacer es navegar al Developer Portal de nuestro device y acceder a la opción “3D View”

Clipboard01.png

En este momento debemos presionar el botón [Update] y veremos cómo aparece el mapeo de la habitación donde estamos usando el device.

Clipboard02

En esta vista podemos utilizar el mouse y el teclado para “navegar” en la misma y ver los detalles de nuestro entorno.

Clipboard03.png

Es importante recordar que Hololens está todo el tiempo actualizando este mesh del entorno, si presionamos nuevamente el botón [Update] veremos cómo se actualiza el modelo de nuestra habitación. Otro detalle importante es que podemos tener un modelo completo con varias habitaciones conectadas.

En la siguiente imagen presento una esquina de mi oficina y el mapeo que realizo Hololens. Se puede ver que el proceso de escaneo simplemente mirando “un sitio” no es muy detallado, sin embargo, es lo suficientemente completo para poder realizar tareas de navegación en el mismo. En futuros posts comentare como realizar este proceso con más detalle.

Clipboard04.png

Finalmente, lo que podemos hacer es guardar este modelo en formato OBJ, que luego podremos, por ejemplo, importar desde Unity 3D o 3D Builder. Este es un vistazo de mi habitación trabajada en 3D Builder.

Clipboard01

Como siempre, no soy un experto, pero después de un par de minutos pude “pulir” y mejorar un poco el modelo para poder trabajar con el mismo. En el siguiente post, comentare como importar este modelo en Unity3D para que sirva como la base de una escena.

Saludos @ Toronto

El Bruno

References

El Bruno, my posts

#Microsoft – There were more than #Surface Laptop on Microsoft event 2 days ago: #MSTeams and #3D

Hi !

A couple of days ago, Microsoft hosted an event were they revealed a new device for the Surface family: Surface Laptop. It has everything you may expect from a Surface device: great presentation, amazing hardware features and a couple of “buts”. In example, the lack of color options in the top level hardware models and the lack of USB-C ports. Besides all of this, in less than 2 minutes you get everything you need to know about this.

 

In the 90 minutes of the event there were other interesting topics besides Windows 10 S and the Surface Laptop. I think this additional topics shows the new Microsoft path  and that’s why it’s important to give them a couple of words.

In example, Megan Saunders had a small participation on the event. In case you don’t know her, here is her title: Megan Saunders is the Windows 3D Initiative General Manager for Microsoft.

Her presentation was mainly focused on some of the new Windows 10 features: 3D, Mixed Reality and Education. As you can imagine, all the demos were based on the new Windows 10 products, and it was mainly important to remark that everything starts with Microsoft Teams! (I’ll get here later).

In a couple of minutes we can see this demo:

  • Start creating a 3D model using Paint 3D
  • Then let’s add some animation to the model using Microsoft PowerPoint
  • Share the works using Microsoft Teams

The final result is amazing and it was also a nice introduction for a new cool Windows 10 feature: View Mixed Reality. May be the best way to explain this is something like Augmented Reality ++. I’m looking forward to see the samples included on Windows 10 SDK related to this to see how far we ca go with this platform.

At the end of the presentation the staff used on of the new Mixed Reality devices (not Hololens) as part of a cool demo where we saw a cool implementation of the Solar System where the user makes a 3D navigation using an XBoxOne controller. Of course, at the end, a Hololens demo close this section.

The next 12 minutes are this part of the event:

And it was very interesting to see how Microsoft Teams was mentioned a couple of times during the event. They even presented a specific version of Microsoft Teams focused on education.

Now the teachers can set up a dashboard for their students. This dashboards will with include access to activities, tests, and lesson materials. Students will be able to use this artifacts and use MS Teams, post comments, participate on discussions, and more.

The next 10 minutes are the main focus of this new MS Teams for Education features:

I may forgot to mention the new Minecraft Education and other news. However I think only Mixed Reality and MS Teams for Education are a very good example of the way that Microsoft is shaping this new set of tools. 😀

Greetings @ Toronto

El Bruno

References

#Microsoft – Lo que (tal vez) no viste en la presentación de #Surface Laptop, #MSTeams y #3D

 

Hola !

Hace un par de días Microsoft presentó un nuevo device para la familia Surface: Surface Laptop. Como todos los productos Surface, es posee un acabado genial, unas prestaciones muy buenas y también podemos encontrarle algunos “peros”. Por ejemplo, el no poder seleccionar colores en la “gama alta” o no tener puertos USB-C.

Al margen de estos detalles, el producto parece seguir la línea Surface y solo se necesitan un par de minutos para comprenderlo.

 

Pues bien, en los 90 minutos de presentación también se tocaron un par de temas interesantes que han sido eclipsados por Windows 10 S y Surface Laptop. Personalmente creo que muestran el camino por el que va Microsoft y es necesario darles un repaso.

Por ejemplo, Megan Saunders tuvo una participación pequeña pero importante. Si no la conoces, la mejor forma de presentar a Megan es con su título: Megan Saunders is the Windows 3D Initiative General Manager for Microsoft.

Durante su presentación se tocaron las bases de la nueva versión de Windows 10: 3D, Mixed Reality and Education. Por supuesto las demos fueron alrededor de los nuevos productos de Windows 10, sin embargo todo comienza con Microsoft Teams! (este es un detalle importante,  que comentaré luego).

En pocos minutos pudimos ver una demo muy interesante

  • Crear un modelo con Paint 3D
  • Animar el modelo con Microsoft PowerPoint
  • Compartir y colaborar con MS Teams

El resultado es realmente impresionante, y dió pie a la siguiente feature que veremos en Windows 10: View Mixed Reality. Podemos pensar en esta feature como Augmented Reality ++, y la verdad es que, estoy ansioso por ver que ejemplos tenemos en el SDK de Windows 10 para ver las capacidades del mismo.

Al final de la presentación, pudimos ver uno de los nuevos Mixed Reality devices (que no son Hololens) como parte de una demo donde podemos ver el sistema solar y controlarlo con un mando de XBox One. Obviamente al final la demo se cierra con un ejemplo con Hololens.

Los siguientes 12 minutos son los que se centran en estos temas:

Lo siguiente interesante a comentar es la mención de Microsoft Teams en varias partes de la presentación. Y, en este caso, dándole importancia especial para el entorno de la educación.

Ahora los profesores tienen algunas funcionalidades especiales en Microsoft Teams para crear Dashboards para los alumnos con actividades, materiales de estudio, exámenes, etc. Y los alumnos, pues pueden utilizar MS Teams de la manera tradicional. Aquí podemos ver los 10 minutos donde se habla de Microsoft Teams

 

En el camino me queda comentar lo nuevo de Minecraft Education y otro par de novedades. Creo que solo el hecho de ver como se enfoca en entornos educativos, el modelo de Mixed Reality y MS Teams es una buena muestra del camino que está tomando Microsoft.

Saludos @ Toronto

El Bruno

References

#Windows10 – Creators Edition: #Paint3D is so much fun and with a #SurfaceStudio much more!

Hello!

Today was day of Microsoft news. The most popular one was the new Surface Studio, this one leaves the bar quite high for the desktop devices.

IMHO, beyond the Surface Studio, I think is also very important the addition of many features to support the 3D world of apps, gaming and collaboration, in a new Windows 10 version called

 

Windows 10 Creators Edition

There were some virtual reality headsets compatible with this version (with reasonable prices from $300); an app that allows you to scan in 3D with amazing precision (this smelled to fake !). And what most caught my attention: Paint 3D Preview.

The good thing about Paint 3D is that, if you’re part of the program’s Windows Insiders, you can try it now. In honor of Halloween I’ve created my own version of the Avanade logo on mode “creepy”.

ava-halloween-3d-03

Back to Paint 3D, the tool is great. Those who know me know that I am a fan of simple tools (I’m quite not smart), and after trying several 3D modeling tools, Paint 3D stands out as something simple yet very powerful. If you can use it also with a stylus, the combination gives us some very impressive creative capabilities.

Another detail that caught my attention, is the ability to integrate 3D models into PowerPoint presentations. Now that all the 3D is attractive, I think that we can add one point of happiness to our presentations.

Obviously, these designs can also be used from Hololens, here is what I am trying to understand right now. Though I found the fabulous surprise that portal to share 3D models does not work on Edge (but Chrome is OK!)

clipboard02

I recommend you take a look at the full list of new features, and the best are 90 seconds of video

Greetings @ Toronto

El Bruno

PD: Do you remember my posts on the 3D future?

#Windows10 – Creators Edition: #Paint3D diversion asegurada y con una #SurfaceStudio mucho más!

Hola !

Hoy fue día de anuncios por parte de Microsoft. El principal y más comentado seguramente fue la nueva Surface Studio, que la verdad que deja el listón bastante alto para los devices de escritorio.

En realidad más allá de la Surface Studio, lo más notable (IMHO) es la incorporación de muchas funcionalidades para dar soporte al mundo 3D, en una nueva versión de Windows llamada

Windows 10 Creators Edition

Se presentaron algunos headsets de realidad virtual compatibles con esta versión (con precios razonables a partir de los $300); una app que permite escanear en 3D con una precisión asombrosa (esto olía a fake que no veas!). Y lo que más me llamó la atención: Paint 3D Preview.

Lo bueno de Paint 3D es que, si eres parte del programa de Windows Insiders, lo puedes probar ya. Yo, en honor a Halloween he creado mi propia versión del logo de Avanade en modo “creepy”.

ava-halloween-3d-03

Vuelvo al Paint 3D. La herramienta me pareció genial. Los que me conocen saben que yo soy muy fan de las herramientas simples (yo soy bastante cortito de mente), y después de probar varias herramientas de modelado 3D, Paint se destaca como algo simple pero muy poderoso. Si la puedes usar además con un stylus, la combinación nos da unas capacidades creativas muy impresionantes.

Otro detalle que me llamó la atención, es la capacidad de integrar elementos 3D a presentaciones PowerPoint. Ahora que todo lo 3D es atractivo, creo que podemos darle un punto más de happiness a nuestras presentaciones.

Obviamente, estos diseños también pueden ser utilizados desde Hololens, este punto es el que estoy intentando comprender ahora aunque me he encontrado con la fabulosa sorpresa de que el portal para compartir modelos 3D no funciona en Edge (pero si en Chrome!)

clipboard02

Os recomiendo dar un vistazo al listado completo de novedades, y lo mejor son 90 segundos de video

Saludos @ Toronto

El Bruno

PD: Recuerdas mis posts sobre el futuro en 3D?

Opinion – Historia del Mouse y porque necesitas aprender #3D skills

Hola !

Hace una semana escribí un post donde comenté mi punto de vista sobre lo que necesitaremos en 2 o 3 años

Los skills que necesitaremos para crear apps, serán en su mayoría para apps en 3D.

Obviamente, esto tuvo una respuesta en opiniones de todos los colores y, además de agradecer el feedback, se me dio por sacar de los borradores algo que escribí sobre la historia del Mouse.

Nota: Cada tanto escribo y guardo estos párrafos con la esperanza de que en algún momento sean útiles para el Blog, un libro o algo similar.

Empecemos por una fecha histórica hace 35 años: 27 de Abril de 1981, esa es la fecha en la que Xerox lanzó su primer prototipo de mouse al mercado. En realidad se reconoce a Douglas Engelbart, como el inventor del mouse allá por el año 1963 y que Xerox fue donde el prototipo llego a un nivel particular de madurez. Un detalle curioso, es que cuando el Mouse se hizo “popular”, la patente de Engelbart había expirado y nunca recibió royalties por su invento.

Vamos a lo interesante: Todo el mundo sabe que Xerox dejó pasar su oportunidad con el mouse, y que fue Steve Jobs el que comenzó a sacar provecho de este device. Si bien el diseño de ese era un poco tosco y el tamaño era exagerado para lo que conocemos hoy, la función principal era la misma: Un device que provee la capacidad de controlar un puntero virtual en un SO con interfaz gráfica. Han pasado 35 años y al igual que con los coches, el concepto básico no ha cambiado.

En ese momento, allá por el año 1979, Steve Jobs tuvo la suerte de visitar las oficinas de innovación de Xerox en Palo Alto: Xerox PARC (short for Palo Alto Research Center). Esa visita marcó un cambio de rumbo para Apple: a partir de ese momento, Steve Jobs tomó la decisión de que su SO sería orientado a ventanas y menúes, y se controlaría con un mouse.

Cuenta la leyenda, que al volver de su visita a Xeroc PARC, Jobs se juntó con Dean Hovey, un diseñador industrial y le comento que tenían que tener un mouse para Apple. Dean respondió “¿Qué es un mouse?” y Jobs le explicó el concepto. Y además agregó lo que sería una de las bases del éxito de Apple

“[The Xerox mouse] is a mouse that cost three hundred dollars to build and it breaks within two weeks. Here’s your design spec: Our mouse needs to be manufacturable for less than fifteen bucks. It needs to not fail for a couple of years, and I want to be able to use it on Formica and my bluejeans.” (referencia The New Yorker)

El mouse de Xerox cuesta 300 dólares y se avería a las 2 semanas de uso. Nuestro mouse tiene que poder ser construido por menos de 15 dólares. Y tiene que funcionar sin problemas por un par de años, y quiero poder usarlo sobre una superficie de fórmica o sobre mis jeans.

Ahí queda la visión y el descaro de Steve Jobs, algo que a la larga le haría triunfa y lograr que Apple sea una referencia mundial.

Pues bien, hay mucho más que contar y la verdad es que, en ese momento todas las ideas fueron madurando hasta dar paso a lo que conocemos y usamos hoy: ordenadores para el hogar, interfaces gráficas como abstracciones de aplicaciones, dispositivos portátiles y otras ideas más.

Hoy hemos llegado a un punto donde de nuevo se están dando las condiciones para un nuevo cambio de paradigma, aunque en este caso no tendrán que pasar 15 años, sino que en 2 o 3 años veremos un cambio.

tv5wrmjfgq7ottcjm6dg

Por ejemplo, salvo que necesites un tipo de hardware especial, hoy la mayoría de las personas que necesitan soporte digitales pueden trabajar con un laptop. Estos devices son cada vez más potentes, con una autonomía de varias horas de uso, una relación tamaño / peso muy favorable y varias opciones más. Una variante es un iPad Pro, aunque la base sigue siendo la misma:

Un Display donde ver e interactuar con aplicaciones y dispositivo de entrada de datos, usualmente un teclado.

Opcionalmente podemos tener un mouse, unos auriculares para realizar llamadas, lápices especiales para tareas de diseño, impresora y otros devices más. Todo esto se reduce en dispositivos de entrada y otros de salida.

Con la llegada de mundos virtuales y mixtos, se acerca un cambio radical. En unos años, es muy probable que no viajemos con nuestra laptop en la mochila. En cambio tendremos unas gafas, no más pesadas que unas gafas de sol que, nos brindarán acceso a un mundo virtual donde ejecutaremos nuestras apps.

Imagina llegar a un café, y en lugar de abrir tu laptop, ponerte tus gafas. Seguramente seguiremos estando atados al correo electrónico, así que en un mundo virtual podremos poner una app en 2D para ver nuestro correo. El correo sigue siendo 95% texto, así que no tiene sentido cambiar la dinámica del mismo.

Bonus: Si abres tu app de correo o lo revisas en un navegador con unas gafas que solo te lo muestran en hologramas para ti, pues la privacidad se torna mucho más segura ya que los contenidos solo los ve la persona que lleva las gafas.

3041243-poster-p-1-hololens-microsofts-sci-fi-glasses-that-make-you-see-holograms.gif

Como comenté, el correo sigue siendo texto, así que tal vez sea el momento de sacar un teclado inalámbrico y comenzar a responder los correos que sean necesarios. Los teclados son cada vez más pequeños y cómodos, y seguramente nos servirán también cuando tengamos que trabajar en otras apps de colaboración como Yammer, Slack, Twitter, Facebook, etc.

En ese momento, cuando te encuentras revisando el feed de Yammer, puede entrarte una llamada por Skype. Pues con un pequeño gesto o comando de voz, podemos aceptar la llamada y hablar con nuestro equipo que está distribuido por el mundo. Aquí podemos pensar en una colaboración con apps en 3D, por ejemplo si tenemos que revisar un tablero Kanban donde realizamos el seguimiento de los items sobre los que está trabajando el equipo.

Con un gesto podemos crear un tablero virtual frente a nosotros y comenzar a arrastrar y soltar elementos, en conjunto con nuestro equipo. Este tablero es un elemento compartido entre todos los participantes de la llamada, por lo que podemos pensar en tener diferentes vistas del mismo con diferentes punteros en 3D que son los que acomodan los items. Podemos tener las notas virtuales frente a nosotros en la mesa en la que estamos y desde allí acomodarlas en el tablero. Y como todavía tendremos que compartir información con personas que trabajan con monitores, una vez finalizado el trabajo sobre el tablero Kanban, podremos sacar un par de snapshots del mismo y pegarlos en unas slides de PowerPoint 2D para enviarlas por correo.

Durante este proceso, tendremos además una representación virtual de Cortana que nos ayudará a acomodar los items en el tablero, ya que con procesos de Machine Learning analizará la información contextual de cada item y nos avisará sobre los pros y contras de los mismos. En otras palabras: Cortana puede ser un integrante más de nuestro equipo de trabajo.

cortana-hologram

Nota: Aquí tengo 2 deseos: ver algo similar a un PowerPoint 3D y también espero que en 2020 mi día a día no sea “email driven”. Hoy sigo tendiendo mucha dependencia del correo, y no creo que desaparezca. Creo que el correo volverá a tener la relevancia que se merece, cuando se lo comience a utilizar correctamente.

Una vez finalizada la llamada, podemos pedir la cuenta, y al momento de pagar abrir una app en 3D en la que paguemos con un código que solo nosotros veremos. Gestos, autorización por voz y otros elementos serán los que permitan esta transacción. Luego todo es tan simple, como guardar el teclado en la mochila, cambiar las gafas a modo “street walking, no advertising“, lanzar Spotify y caminar hacia el trabajo mientras escuchamos música.

Pues bien, esto puede parecer un futuro lejano, sin embargo si hoy tenemos a alguien que toma un device como Hololens y pone un objetivo similar al de Jobs y el mouse, en unos años la realidad de los mundos virtuales y mixtos será algo cotidiano.

Eso sí, todavía existirán apps como Excel, Email, apps de negocio y otras, aunque si pensamos en todas las capacidades que nos puede brindar un device como las gafas que describo, seguir creando apps como las anteriores no tendrá mucho sentido. Así que, a aprender un poco de 3D !!!

Saludos @ Toronto

El Bruno

References

#Opinion – Prepárate para las 3D apps, dentro de 3 años, crear 2D apps será como crear apps de consola

áola!

Uno de los grandes momentos en la historia de la informática, fue la incorporación de las interfaces gráficas como modo de interacción con los usuarios. De eso hace ya bastante tiempo, y en realidad fue la suma de varias causalidades la que hizo que este hito fuese importante. Por ejemplo: los ordenadores se comenzaban a fabricar a gran escala, a ser más baratos; eso permitía que la idea de Bill Gates de “Un ordenador en cada casa” comience a ser una realidad.

Otro punto importante es que hasta ese momento, los ordenadores eran controlados en su mayoría por interfaces de líneas de comandos. Nos guste o no, esto limitaba mucho el uso. Hoy podríamos decir que era solo alcanzable por “frikis” o “nerds”. Yo prefiero ponerlo en contexto y decir, que eran personas que comprendían que para interactuar con un PC había que conocer comandos, y además de esos comandos los argumentos de los mismos. Además era necesario tener un buen conocimiento técnico sobre cómo funcionaban los ordenadores para poder abstraerse y trabajar en ese nivel.

hackerman

Nota: Hackerman fue un adelantado a su tiempo.

Pues bien, llegan las interfaces gráficas y todo cambia notablemente. Cuando un usuario comprendía el concepto de ventanas y botones, todo era más simple. Un dibujo de una paleta de colores, seguramente nos llevaba a una aplicación para “pintar y colorear”. Si conocías lo que era una impresora, solo tenías que buscar el dibujo de una impresora y se lanzaba una tarea a la cola de impresión. Este momento, fue además el que dio el primer paso para comenzar a “enterrar” a todas esas aplicaciones que se ejecutaban en Mainframes. Muchas de esas aplicaciones que se controlaban desde una consola, no se enterraron, solo se crearon “capas sobre las mismas” para poder hacer la vida más fácil a los usuarios.

Lo importante de remarcar en este pequeño resumen, es que toda esta experiencia de usuario era en 2 dimensiones. Podríamos hablar de que estas nuevas GUIs, eran 2D Graphical User Interfaces. Desde hace unos años, y gracias a los avances en hardware empezamos a ver que tenemos acceso a interfaces de usuario en 3 dimensiones. Dispositivos de realidad virtual o realidad aumentada, como Oculus Rift o Hololens, nos abren un nuevo abanico de posibilidades para poder interactuar con ordenadores.

1230610485106897701.gif

Si bien, el cambio hacia las 2D GUIs se produjo durante un período de varios años, creo que el cambio hacia las 3D GUIs será mucho más rápido. Hoy el mundo se mueve más rápido y la velocidad con la que están apareciendo nuevas opciones hará que esto sea una realidad mucho antes de lo que pensamos.

Dentro de 2 a 3 años cualquier persona que cree apps que interactuen con un usuario necesitará tener conocimientos de 3D.

Tumotechc-holographic-display.gif

Cuidado, no quiero decir que las apps en 2D dejen de existir. Tendremos una coexistencia durante mucho tiempo de mundos 2D y 3D. Sin embargo, el futuro serán las apps en 3D. En mi caso, intento dedicar tiempo a mejorar mis skills en Unity3D. Una herramienta que inicialmente se pensó para crear juegos y que hoy nos permite crear muchos tipos diferentes de experiencias de usuarios: juegos, herramientas para la educación, tableros de control, etc.

Bonus: Las apps en 2D y 3D seguirán coexistiendo durante mucho tiempo. Hoy mismo podemos ver cómo vivimos entre 2D apps y herramientas de líneas de comandos. Los devs mas frikis usan GIT y prefieren usarlo desde una consola. Los IT managers más fanáticos usan PowerShell también desde la consola. Y han pasado más de 30 años desde que nacieron las 2D GUIs.

 Es muy probable de que en el 2020 utilicemos un device como Hololens para trabajar, interactuando con gestos con 2D y 3D apps, y con un teclado conectado para seguir haciendo commits en una consola de GIT.

Saludos @ Toronto

El Bruno

References