#Flow – Analyzing images in 3 steps with Microsoft Flow and Computer Vision #CognitiveServices

Hi!

Today I put on hole my posts on Project Malmo and Minecraft, because thanks to some new connectors in Microsoft Flow, I was able to create an image analysis Mobile App in a matter of minutes.

When we create a Flow triggered using a button, we have a new data type [File] for input data. If we use a File as the start of a Flow, and a Computer Vision activity, we can create a simple 3-step process for analyzing photos.

I1

As I commented earlier, in the Button we created an input field of the type File.

I2

Then we used the File Content of the previous step in a Computer Vision action to get the image description.

I3

And finally we show the description returned by the Cognitive Services action in a notification to the mobile device.

I4

If we launch our Flow, we will see that at the time of selecting a file we can take a photo using our smart phone or select one from the photo gallery

I5

For this sample, I’ll use a simple one: a couple of toys in my desk

I6

The process begins to work, uploading the photo to a temporary location so the Computer Vision process can analyze it

I7

And a few seconds later we have the result that in this case, is 100% correct!

I8

 

Happy Coding!

Saludos @ Burlington

El Bruno

References

My posts on Flow

Advertisements

#Flow – Analizando imágenes en 3 pasos con Microsoft Flow y Computer Vision #CognitiveServices

Hola!

Hoy pongo los posts sobre Project Malmo y Minecraft on Hold, ya que, gracias a algunos nuevos conectores en Microsoft Flow, he podido crear una App móvil para análisis de imágenes en cuestión de minutos.

Pues bien, si creamos un Flow que se inicie utilizando un Button, ahora tenemos el tipo de dato [File], que podemos utilizar cuando se lanza un Flow. Si utilizamos un File como inicio de un Flow, y una actividad de Computer Vision, podemos crear un proceso simple de 3 pasos para analizar fotos.

I1

Como comenté antes, en el Button creamos un input field del tipo File.

I2

Luego utilizamos el File Content del paso anterior en una acción de Computer Vision para describir esa imagen.

I3

Y finalmente mostramos la descripción que nos retorna Cognitive Services en una notificación.

I4

Si lanzamos nuestro Flow, veremos que al momento de seleccionar un archivo podemos sacar una foto o seleccionar una de la galería de fotos

I5

En mi caso, algo simple, 2 juguetes de mi escritorio

I6

El proceso comienza a trabajar, subiendo la foto a una ubicación temporal para que Computer Vision la pueda procesar

I7

Y pocos segundos después ya tenemos el resultado que en este caso, es 100% correcto!

I8

 

Happy Coding!

Saludos @ Burlington

El Bruno

References

My posts on Flow

#ComputerVision – How to create a 3D model of a face using a 2D photo (Amazing !)

Hello!

The advances in Computer Vision are becoming more and more impressive. The suite I know best and with use more is Azure Cognitive services, however, there are surprises and advances that leave me with my mouth open.

This is the case of the work published by Aaron S. Jackson, Adrian encyclical, Vasileios Argyriou and Georgios Tzimiropoulos, where he explains how he can create a 3d model from a 2d photo. The best thing is to see it in action

2017 09 25 3D face from 2D 01.gif

I recommend you also see the video where they apply the algorithm in real-time to faces in a video.

Now is the time to try to explain, with my words of a 5-year-old boy, how this works. Behind this algorithm is a Convolutional Neural Network (CNN), which has been trained with 2D images with the results expected in 3D. The interesting thing about this model is that it has reached such a level of sophistication that it does not need a specific point of reference for a face, it works on any face.

With the 2D image information, it is possible to rebuild elements of the face, including parts that are not seen in the 2D image. In this way, and after much training CNN, achieve the results that can be seen in the live demo!

Maybe it’s better to hear this in their own words

Greetings @ Toronto

El Bruno

References

#ComputerVision – Crear un modelo 3D de un rostro a partir de una foto 2D (Impresionante !)

Hola!

Los avances en Computer Vision son cada vez más impresionantes. La suite que mejor conozco y con la que trabajo son los servicios de Cognitive Services, sin embargo, hay sorpresas y avances que me dejan con la boca abierta.

Este es el caso del trabajo que han publicado Aaron S. Jackson, Adrian Bulat, Vasileios Argyriou and Georgios Tzimiropoulos, donde explica cómo puede crear un modelo 3D a partir de una foto 2D. Lo mejor es verlo en acción

2017 09 25 3D face from 2D 01.gif

Les recomiendo ver también el video donde aplica el algoritmo en tiempo real a faces en un video. Ahora es el momento de intentar explicar, con mis palabras de un niño de 5 años, como funciona esto.

Detrás de este algoritmo hay una Convolutional Neural Network (CNN), que ha sido entrenada con imágenes en 2D con los resultados esperados en 3D. Lo interesante de este modelo, es que ha llegado a un nivel de sofisticación tal, que no necesita un punto de referencia específico para un rostro, funciona sobre cualquier rostro. Con la información de la imagen 2D, es posible reconstruir elementos del rostro, inclusive de partes que no se ven en la imagen 2D. De esta forma, y después de MUCHO entrenar la CNN, logran los resultado que se pueden ver en la live demo!

Tal vez mejor es escuchar las palabras de Aaron

Saludos @ Burlington

El Bruno

References