#Podcast – NTN 36 – How a #AR SDK works (Augmented reality), a very simple way to understand this very complex technology

giphy

Hi !

Big episode today! After writing a little about Mixed Reality, Virtual Reality and Augmented Reality, I’ve realized that we have a lot of bluff and fake news anywhere about this, so I decided to spend some time talking about how really a AR kit works.

At the end, I’ve recorded 2 versions of the audio. In the 1st one somehow I got lost in a very deep technical details speech about maths and calculations, so I’ve put some guide in front of me and I recorded a 2nd one where I try to avoid deep technical topics. In the published version I explain how a basic AR works, how they perform spatial mapping, stereoscopic analysis synchronization issues and more. At the end, we also have Sergio Mabres news section.

As always, I hope you enjoy the episode and forgot the errors. Remember this is a Spanish podcast

Greetings @ Toronto

El Bruno

References

Advertisements

#Podcast – NTN 36 – Como funciona un kit de #AR (Realidad Aumentada), explicado para un niño de 5 años! (por uno que tampoco es mucho más grande)

giphy

Hola !

 

Episodion el de hoy! Después de comentar un poco noticias sobre Realidad Mixta, Virtual y Realidad Aumentada, y ver que hay mucho bluff y fake news por ahí, se me ha dado por intentar explicar cómo funciona un SDK de AR por dentro.

En realidad, he grabado una versión por donde me iba por las manos explicando detalles técnicos del mismo, y esta versión en la que explico cómo funcionan, como hacen un mapping del entorno, un poco de análisis estereoscópico, los problemas de sincronización y tracking y otros temas más.

Al final también tenemos la sección de noticias de Sergio Mabres, y recuerden que este resumen se realiza semana a semana, y el podcast cada 2 semanas, tenemos un problema de sincronización parecido al que hay entre las cámaras y los sensores de movimiento en un smartphone.

Como siempre, espero que lo disfruten, y que disculpen los errores (si es que hubo alguno).

 

Saludos @ Toronto

El Bruno

References

#Opinion – How will #ARKit and #ARCore impact on #MixedReality (2017 is still on fire!)

giphy-downsized-large.gif

Hi !

One year ago I wrote a post where I share my opinions on how important is to invest on learn 3D skills if you are a developer. In my own scenario, this was forced by the fact that I want to really understand the process of “create a Hololens App”, so I invested lot of time upgrading myself to this. Also, the bet is not for today, is for the near future (check references).

A few months ago during the Apple Developers Conference, Apple released their SDK to create Augmented Reality Apps: ARKit. ARKit allows us to get some data from the camera, and phone sensors and with this information we can position and build 3D elements in our surrounding environment. If you go deeper, the way that this SDK works is very interesting. I’ll try to explain this in the way I usually understand things (in a very simple way).

It all starts with the information received by the camera, and motion sensors. Using this information, ARKit defines a couple of anchor points or reference points in the camera FOV. The big difference with Hololens, resides in that ARKit does not create a 3D model of the environment, it allows an App to anchor 3D objects in the space, and then it performs some crazy calculation every time the phone moves to get new perspective, size and location of the 3D object. A good way to describe this is, think on what if Pokemon Go was really good in the AR space.

So, that’s it on ARKit, take a look at the references for more.

i1

And now ARCore is here. But to understand this we need to go back a little on time and start with another amazing Google project: Project Tango. Project Tango works on devices (tablets and smart phones) in which we have the standard sensors: camera and motion sensors, and we also have a depth sensor. Using this sources, Project Tango was able to create a virtual 3D model of the environment, and later we can position, build and draw 3D objects on it.

It’s really cool, however, as I commented before, it only works on specific devices, the ones with the additional sensor. And, to avoid the need of this extra sensor, Google presented ARCore. Again, let me try to explain how ARCore works

ARCore is like ARKit, but for Android. That’s it.

Note: Project Tango is still there and evolving, and ARCore focus is different, but I like to present this in this way.

Both platforms, ARKit and ARCore are great as a ramp up to create Augmented Reality Apps. Of course, the final Apps are not going to be as amazing as the one created on AR Devices, but Apple and Google right now have a big advantage on their competition: they can reach to millions of phones to run this Apps without the need of an additional hardware (keep this thought).

This is important, very important. We can take some previous experiences on how other organizations are making the entrance on this AR/VR world. It’s time to review the Mixed Reality history in Flash mode.

  • It all started on 2015 when Microsoft presented Hololens.
  • Until today, there is no competition for Hololens as a single Mixed Reality Experience, wireless device. But, to you need to save $4000 to get the device, price is a constraint.
  • During the past 3 years, there was a lot of advances and great news:
    • The development tools have become more and more powerful. Microsoft choose Unity3D as main tool for design and build of mixed reality Apps and this open the door for a big community of developers, gamers and more.
    • The “price problem” was solved with an interesting approach. Instead of spending $4K on a device, you can get much cheaper Mixed Reality headsets, and you need a PC to use them. They starts on $300.
    • Microsoft is creating cool partnerships, like the one with Steam. Think about all the experience SteamVR have on this field.
    • Microsoft have acquired Minecraft. I think this is with the goal to hit the table and release something amazing based on Minecraft VR, looking for the Wow effect!

And this is great, and as long term plan it makes sense. However, in less than 2 months Apple and Google have also open this market to millions of phone users, and without the need of an extra device (thanks for keeping the thought) and now it’s all in the hands of the people who creates Apps.

Another important one. There are thousands of companies and people building Apps for iPhone and Android. If they start to play around with this new technologies, for sure, we will have something amazing between all the crap which is also going to be generated. Again, the experience using ARKit or ARCore, is not as the ones you get when you use a dedicated device, but we don’t need to underestimate this.

Note: And now it’s time to talk to you my friend, the one who complained about the small Hololens FOV. What do you think now about the new FOV with a 6” device? and when you need it to move with your hand?

giphy.gif

At the end, there is also a bright side here. If you invested time to learn 3D, in something like in example Unity3D, now you can create Apps for any of this platforms using Unity3D. I’m assuming that the porting between platforms will be some kind of easy, with “light” versions of Apps for iPhone and Android, and much more powerful version of the same App for specific devices like Oculus Rift, HTC Vive or any one of the Windows 10 Mixed Reality Devices.

As I said one year ago, amazing times are coming!

Greetings @ Toronto

El Bruno

References

#Opinion – Como afectan #ARKit y #ARCore a #MixedReality (el 2017 sigue con todo!)

giphy-downsized-large.gif

Hola!

Hace aproximadamente un año escribí un post donde comentaba que este es un excelente momento para comenzar a formase en temas relacionados con 3D. En mi caso en particular era por la necesidad de ponerme al día para crear soluciones para Hololens, sin embargo, la apuesta es a largo plazo (ver referencias).

Hace unos meses Apple presentó su SDK para desarrollo de Augmented Reality Apps durante su conferencia anual de desarrolladores. Se trata de ARKit y permite trabajar con datos de la cámara y sensores del teléfono para poder dibujar y posicionar objetos en el espacio 3D. La forma en la que trabaja es interesante, voy a intentar explicarlo, así como lo entiendo yo que soy muy simple (simple como un cubo).

Todo comienza con la información que se recibe desde la cámara y de los sensores de movimiento. Con esta información, ARKit encuentra un par de puntos de referencia en el FOV de la cámara. A diferencia de Hololens ARKit no crea un modelo en 3D del espacio que apunta la cámara, sino que permite anclar objetos en el espacio y luego a medida que el teléfono se mueve, se recalcula la posición, tamaño y perspectiva de estos objetos. Lo mejor es recordar a Pokemon Go y pensar en que hubiese pasado si la parte de AR hubiese estado bien hecha.

Y hasta aquí ARKit, si quieres más, revisa las referencias.

i1

En el otro lado del tablero están los amigos de Google, que desde hace bastante tiempo están impulsando su Project Tango. Project Tango funciona con Devices (tablets y smartphones) en los que además de la cámara, hay un sensor de profundidad. Utilizando la información de cámara, sensores de movimiento y sensores de profundidad, Project Tango permitía crear un modelo 3D del ambiente y en este modelo se podían crear / dibujar objetos 3D.

Esto es genial, sin embargo, como comenté antes, esto solo funciona en Devices con sensor de profundidad. ARCore viene a solucionar esto. Como hice antes, voy a intentar explicar ARCore de la forma en la que lo entiendo yo

ARCore es como ARKit, pero para Android, listo.

La verdad es que ambas plataformas son geniales como un rampup para crear Augmented Reality Apps. Hay que dar por sentado que las mismas no serán tan espectaculares como las apps que se crear en Devices especializados, pero tanto Apple como Google tienen una ventaja que los demás no tienen: millones de teléfonos pueden ejecutar estas AR Apps hoy, si necesidad de comprar ningún device adicional.

Y esto es importante, muy importante, mas aun si vemos la forma en la otros competidores (Microsoft quiza) han entrado en estos mercados. Revisemos por ejemplo la historia de Mixed Reality, en modo light.

  • Todo empieza allá por el 2015 cuando Microsoft presenta Hololenes.
  • Hasta el día de hoy, Hololens no tiene competencia, sin embargo, el precio de entrada es un problema. En mi caso particular, hay quincenas en las que no puedo ahorrar $4000 para comprame unas Hololens
  • Durante estos 3 años se ha trabajado y avanzado mucho, Microsoft:
    • Ha madurado mucho las herramientas de desarrollo. Ha escogido una plataforma muy popular como Unity3D para realizar la parte visual del trabajo de desarrollo y creación de MR Apps.
    • Ha compensado el precio de entrada, realizando partnerships on fabricantes de hardware que crean dispositivos de VR a partir de $300.
    • Se ha asociado con Steam, para aprovechar el tirón y experiencia de SteamVR en el mundo de la realidad Virtual.
    • Ha comprado Minecraft con la esperanza de dar un golpe en la mesa, en algún momento Minecraft VR será un Wow!

Todo esto es genial, y como plan de adopción en un par de años tiene sentido. Sin embargo, Apple y Google han llegado a millones de usuarios en menos de 2 meses y ahora todo queda en manos de los desarrolladores de Apps. Este es otro punto importante, hay tantas empresas y personas creando apps para iPhone y Android, que seguramente entre toda la montaña de cosas inútiles (por no decir mierda) que se cree con ARKit y ARCore, algo bueno saldrá.

Nota: A ti amigo fanboy que te quejabas del FOV de Hololens, a ver que dices ahora de tener un smartphone con tu mano y una cámara de 6 pulgadas como entrada al mundo virtual. In your face!

giphy.gif

Aunque esto tiene también un lado positivo. Si has invertido tiempo en aprender Unity3D, pues ahora ya puedes crear Apps para las 3 plataformas solo utilizando Unity3D. El porting entre plataformas no debería ser muy complicado. Es muy probable que veamos versiones “light” de Apps para iPhone y Android, y luego versiones más completas para Oculus Rift, HTC Vive o algún Mixed Reality Device.

Lo dicho, se vienen tiempos interesantes!

Saludos @ Toronto

El Bruno

References

#MixedReality – Windows Mixed Reality Dev Kits ready for preorder and some brand new hand controllers !

Hello!

Today is the 2nd Day of Build and yesterday main focus was on Azure and AI, today it has been on Windows 10. In addition to a refresh on creators update and many innovations for developers, today the HP and Acer augmented reality sets have been officially presented. You can preorder the Dev Kits online by $299 (Acer) and $329 (HP) (Acer, HP). One interesting topic in that you do not need an external tracker for the spatial mapping and for the motion control. I’m looking forward to try this and to feel the experience.

However, what I have to emphasize today’s presentation is the ability to work with external controllers in Virtual Reality, very similar to Oculus Touch VR controllers.

Up until today, we could interact with the virtual environments using hand gestures or voice commands. The quality and precision of the hand gestures are not as good as you imagine when you start to works with holograms. This is why having an additional device, of the motion controller type, will help a lot in creating experiences for virtual environments.

Yes, from what I see in the official documentation (link), these controllers are not intended for Hololens, only for the Windows Mixed Reality Dev Kits (Acer and HP for now). The way they work is based on the gestures we already know for Hololens. They will allow actions of the type gaze and commit or point and commit. They also have buttons, touchpad and a joystick, so interaction capabilities are much more powerful than a hand-only scenario.

For now we don’t have an estimated price. It is time to have patience and wait for the summer when the mixed reality dev kits begin to release and at that time we will also have access to buy the controllers.

Greetings @ Toronto New Offices

El Bruno

References

#MixedReality – Sets de VR en modo preorder y también con soporte para controllers!

 

Hola !

2do día de Build y si ayer el foco fue Azure y AI, hoy lo ha sido Windows 10. Además de un refresco sobre Creators Update y muchas novedades para los desarrolladores, hoy se han presentado oficialmente los sets de Realidad Aumentada de HP y de ACER. Los mismos se pueden preordernar en la web por $299 (Acer) y $329 (HP) cada uno (Acer, HP). Es interesante en estos Dev Kits que los mismos no necesitan un tracker externo para el spatial mapping y para el control de movimiento.

Ya habíamos visto estos Dev Kits y es una buena noticia poder tener la capacidad de acceder a los mismos. Sin embargo, lo que más tengo que recalcar de la presentación del día de hoy es la capacidad de trabajar con unos mandos externos, similares a Oculus Touch VR Controllers.

Hasta el día de hoy, podíamos interactuar con los entornos virtuales utilizando gestos con nuestras manos. La calidad y precisión de estos gestos deja mucho que desear cuando uno trabaja con hologramas. Es por esto que tener un device adicional, del tipo Motion Controller, ayudará mucho en la creación de experiencias para los entornos virtuales.

Eso sí, por lo que veo en la documentación (link), estos controllers no están pensados para Hololens, solo para los Mixed Reality Kits de ACER y HP (por ahora). La forma en la que trabajan, está basada en los gestos que ya conocemos para Hololens y con los mismos permiten hacer acciones del tipo gaze and commit o point and commit. Al tener botones, touchpad y un joystick, la capacidad de interacción es mucho más potente que solo con la mano.

Por ahora no tenemos un precio estimado. Es momento de tener paciencia y esperar al verano cuando empiecen a liberarse los Mixed Reality Dev Kits y en esa época también tendremos acceso para comprar los controllers.

Saludos @ Toronto new offices

El Bruno

References

#Opinion – Sobre la realidad mixta, el dolor de cuello con wearables y Windows Holographic en el 2020

Hola !

Durante estos últimos días he tenido la oportunidad de hablar bastante sobre Hololens. En realidad, detrás de estas sesiones hay un tema muy importante:

La forma en la que interactuamos con la tecnología está cambiando, HoloLens es un ejemplo de ello. Debemos prepararnos para adaptarnos a nuevas interfaces, nuevos modelos de interacción y a un nuevo paradigma completo que afectará la forma en la que vivimos.

Y hasta aquí el fact. El que me diga que esto no es así, puede mirar atrás y ver como un dispositivo como un smartphone ha cambiado radicalmente la forma en la que vivimos. Algo tan trivial como permitirnos estar conectados todo el tiempo, también ha abierto la posibilidad para nuevos modelos de negocio como Uber, NetFlix o inclusive Spotify (hace un par de días hablábamos con unos amigos de la época en la que rippeabamos todos los CDs de música que teníamos a MP3 … old times !)

Y entonce Microsoft presentó Hololens. Si bien la idea estaba basada en conceptos que ya existían: Realidad Virtual y Realidad Aumentada, el propio dispositivo significó un cambio importante.

Importante: Aquí hay muchos temas para tratar, por un lado es necesario tener en cuenta que es un prototipo. Es cierto que, si bien no tiene cables, igualemente tiene un peso interesante para utilizarlo 4 horas seguidas. Otro detalle es el POV, es bastante pequeño y si te esfuerzas te puedes salir de la experiencia muy fácilmente. La proyección en un ordenador remoto de la vista del usuario es algo confusa y, como suele tener un poco de delay, la experiencia queda truncada. Es imposible transmitir la experiencia Hololens utilizando un proyectos.

Dicho todo esto, lo mejor que se puede hacer con el device, es probarlo. Una vez que comienzas a utilizar las Hololens, y te has adaptado a los gestos, al Gaze y a la mecánica en general, todos esos puntos se olvidan al instante. Es completamente natural interactuar con un Holograma, y a partir del mismo proponer una experiencia de Realidad Mixta.

Puedo escribir mucho al respecto en el blog, incluso hacer podasts o webcasts. Sin embargo en el caso de Hololens la verdadera experiencia es cuando una persona prueba el device. No tengo fotos de todos los que lo han probado, la respuesta en general suele ser Wooooowww !!!

No tengo fuentes que pueda citar para comentar como será HoloLens V2, pero estoy seguro que la plataforma de Windows.Holographic será la que marque el desarrollo de apps en un futuro cercano. Fabricantes de hardware como Acer, HP, Lenovo y 3DGlasses estan creando nuevos dispositivos compatibles con esta plataforma, con precios estimados a partir de los $299 (link). Un ejemplo de esto es la apuesta de Lenovo, que parece estará en un precio entre $300 y $400.

clipboard01

Este device fue presentado en el CES 2017 hace unas semanas y es 100% compatible con Windows Holographic.

Yo hace un tiempo, comenté que los developers deberíamos tener en cuenta herramientas como Unity3D para tener un trabajo claro en el futuro. Mi apuesta de que “todas las apps serán 3D” me llevó a algunas conversaciones interesantes con amigos y colegas.

Lo que si es cierto, es que dentro de unos años las ideas de VR, AR y MR serán parte cotidiana de nuestra vida. Tal vez en acciones del día a día sean una mezcla de estas tecnologías. Ver que calorías tiene un producto en el super, utilizando la cámara de nuestro smartphone; o si tenemos alguna alergia la misma cámara nos podrá mostrar productos prohibidos para nuestra dieta.

En el caso de las aplicaciones de VR, personalmente las veo mucho más en el mundo del entretenimiento, como en previews de sitios para viajar, o en la nueva generación de consolas de video juegos. Y los conceptos de wearables como Hololens, que nos permitirán tener una percepción de la realidad más completa, es algo que solo necesita que los devices sean más portables. Yo todavía los primeros teléfonos móvil hace varios años que tenían más peso que la Surface en la que estoy escribiendo ahora 😀 … ahí queda eso.

Saludos @ Toronto

El Bruno

References