#AI – Some news in Cognitive Services presented at #MSBuild 2018

Hi!

Again, it’s time to write about some topics what has most caught my attention in the news presented during Microsoft Build 2018. In this case I will only comment on some news related to Vision and Speech.

Vision

  • Computer Vision, now supports Object Detection. We have the ability to detect objects in an image. I have to see more in depth that we can both exploit this capacity in Custom Vision.
  • Custom Vision, new formats to export models. Until now we had the ability to export Custom Vision models to CoreML and TensorFlow.
    Now we have 2 new options that really are impressive

    • Export to ONNX. About this I wrote about it. Now we can use these models natively as part of our UWP Apps in Windows 10.
    • Export to Docker File. Especially designed for mixed scenarios with Azure Functions and Azure IOT Edge

I1

Speech

The first thing to comment is a big but very necessary change.

We now have a single service that handles: Speech to Text, Text to Speech and Speech Intent Recognition.

The 2nd point to note is that we now have the ability to Create our own Voice Models. This means that we could create Alexa or Cortana style assistants using our own voice. Ideal to give to your partner, your mother or your worst enemy.

And with this I put pause for today. Happy coding!

Greetings @ Toronto

El Bruno

 

Advertisements

#AI – Algunas novedades en Cognitive Services presentadas en #MSBuild 2018

Buenas!

Otra vez apunto el post a lo que mas me ha llamado la atención en las novedades presentadas en Microsoft Build 2018. En este caso solo comentare algunas novedades relacionadas a Vision y Speech.

Vision

  • Computer Vision, ahora soporta Object Detection. Tenemos la capacidad de detectar objetos en una imagen. Tengo que ver mas a fondo que tanto podemos explotar esta capacidad en Custom Vision.
  • Custom Vision, nuevos formatos para exportar modelos. Hasta ahora teníamos la capacidad de exportar modelos de Custom Vision a CoreML y a TensorFlow. Ahora tenemos 2 nuevas opciones que realmente son impresionantes
    • Exportar a ONNX. Sobre esto ya escribí al respecto. Ahora podremos utilizar estos modelos de forma nativa como parte de nuestras UWP Apps en Windows 10.
    • Exportar a Docker File. Especialmente pensado para escenarios mixtos con Azure Functions y Azure IOT Edge

I1

Speech

Lo primero a comentar es un cambio grande pero muy necesario.

Ahora tenemos un único servicio que se encarga de: Speech to Text, Text to Speech y Speech Intent Recognition.

El 2do punto a destacar es que ahora tenemos la capacidad de crear nuestros propios Voice Models. Esto significa que podríamos crear asistentes del estilo Alexa o Cortana utilizando nuestra propia voz. Ideal para regalar a tu pareja, tu madre o a tu peor enemigo.

Y con esto pongo pausa por today. Happy coding!

Saludos @ Toronto

El Bruno

 

#Flow – Analyzing images in 3 steps with Microsoft Flow and Computer Vision #CognitiveServices

Hi!

Today I put on hole my posts on Project Malmo and Minecraft, because thanks to some new connectors in Microsoft Flow, I was able to create an image analysis Mobile App in a matter of minutes.

When we create a Flow triggered using a button, we have a new data type [File] for input data. If we use a File as the start of a Flow, and a Computer Vision activity, we can create a simple 3-step process for analyzing photos.

I1

As I commented earlier, in the Button we created an input field of the type File.

I2

Then we used the File Content of the previous step in a Computer Vision action to get the image description.

I3

And finally we show the description returned by the Cognitive Services action in a notification to the mobile device.

I4

If we launch our Flow, we will see that at the time of selecting a file we can take a photo using our smart phone or select one from the photo gallery

I5

For this sample, I’ll use a simple one: a couple of toys in my desk

I6

The process begins to work, uploading the photo to a temporary location so the Computer Vision process can analyze it

I7

And a few seconds later we have the result that in this case, is 100% correct!

I8

 

Happy Coding!

Saludos @ Burlington

El Bruno

References

My posts on Flow

#Flow – Analizando imágenes en 3 pasos con Microsoft Flow y Computer Vision #CognitiveServices

Hola!

Hoy pongo los posts sobre Project Malmo y Minecraft on Hold, ya que, gracias a algunos nuevos conectores en Microsoft Flow, he podido crear una App móvil para análisis de imágenes en cuestión de minutos.

Pues bien, si creamos un Flow que se inicie utilizando un Button, ahora tenemos el tipo de dato [File], que podemos utilizar cuando se lanza un Flow. Si utilizamos un File como inicio de un Flow, y una actividad de Computer Vision, podemos crear un proceso simple de 3 pasos para analizar fotos.

I1

Como comenté antes, en el Button creamos un input field del tipo File.

I2

Luego utilizamos el File Content del paso anterior en una acción de Computer Vision para describir esa imagen.

I3

Y finalmente mostramos la descripción que nos retorna Cognitive Services en una notificación.

I4

Si lanzamos nuestro Flow, veremos que al momento de seleccionar un archivo podemos sacar una foto o seleccionar una de la galería de fotos

I5

En mi caso, algo simple, 2 juguetes de mi escritorio

I6

El proceso comienza a trabajar, subiendo la foto a una ubicación temporal para que Computer Vision la pueda procesar

I7

Y pocos segundos después ya tenemos el resultado que en este caso, es 100% correcto!

I8

 

Happy Coding!

Saludos @ Burlington

El Bruno

References

My posts on Flow

#Event – Materials used during the #MSPSummit 2017 in the #CognitiveServices session

Hello!

Last Saturday the Microsoft Canada team invited me to give a session on Cognitive Services for a group of Microsoft Student Partners during the MSP Summit 2017. I was lucky to give the session with Sabrina (@sabrina_smai) and as always, it was a great moment.
We end with an example where Hololens used some Computer Vision services to describe the environment around us (holograms included!)

The slides of the session can be seen here

 

And the source code for some of the examples can be downloaded from Github (link)

Happy coding!

Gretings @ Burlington

El Bruno

References

#Event – Materiales del evento #CognitiveServices durante el #MSPSummit 2017

Hola!

El pasado sábado el equipo de Microsoft Canada me invito para dar una sesión sobre Cognitive Services para un grupo de Microsoft Student Partners durante el MSP Summit. Tuve la suerte de dar la sesion junto a Sabrina (@sabrina_smai) y como siempre, fue un momento genial. Terminamos con un ejemplo donde Hololens utilizaba algunos servicios de Computer Vision para describir el entorno que nos rodea (hologramas incluidos!)

Las slides de la sesión se pueden ver aquí

Y el código fuente de algunos de los ejemplos se puede descargar desde Github (link)

Happy coding!

Saludos @ Burlington

El Bruno

References

#ComputerVision – How to create a 3D model of a face using a 2D photo (Amazing !)

Hello!

The advances in Computer Vision are becoming more and more impressive. The suite I know best and with use more is Azure Cognitive services, however, there are surprises and advances that leave me with my mouth open.

This is the case of the work published by Aaron S. Jackson, Adrian encyclical, Vasileios Argyriou and Georgios Tzimiropoulos, where he explains how he can create a 3d model from a 2d photo. The best thing is to see it in action

2017 09 25 3D face from 2D 01.gif

I recommend you also see the video where they apply the algorithm in real-time to faces in a video.

Now is the time to try to explain, with my words of a 5-year-old boy, how this works. Behind this algorithm is a Convolutional Neural Network (CNN), which has been trained with 2D images with the results expected in 3D. The interesting thing about this model is that it has reached such a level of sophistication that it does not need a specific point of reference for a face, it works on any face.

With the 2D image information, it is possible to rebuild elements of the face, including parts that are not seen in the 2D image. In this way, and after much training CNN, achieve the results that can be seen in the live demo!

Maybe it’s better to hear this in their own words

Greetings @ Toronto

El Bruno

References

#ComputerVision – Crear un modelo 3D de un rostro a partir de una foto 2D (Impresionante !)

Hola!

Los avances en Computer Vision son cada vez más impresionantes. La suite que mejor conozco y con la que trabajo son los servicios de Cognitive Services, sin embargo, hay sorpresas y avances que me dejan con la boca abierta.

Este es el caso del trabajo que han publicado Aaron S. Jackson, Adrian Bulat, Vasileios Argyriou and Georgios Tzimiropoulos, donde explica cómo puede crear un modelo 3D a partir de una foto 2D. Lo mejor es verlo en acción

2017 09 25 3D face from 2D 01.gif

Les recomiendo ver también el video donde aplica el algoritmo en tiempo real a faces en un video. Ahora es el momento de intentar explicar, con mis palabras de un niño de 5 años, como funciona esto.

Detrás de este algoritmo hay una Convolutional Neural Network (CNN), que ha sido entrenada con imágenes en 2D con los resultados esperados en 3D. Lo interesante de este modelo, es que ha llegado a un nivel de sofisticación tal, que no necesita un punto de referencia específico para un rostro, funciona sobre cualquier rostro. Con la información de la imagen 2D, es posible reconstruir elementos del rostro, inclusive de partes que no se ven en la imagen 2D. De esta forma, y después de MUCHO entrenar la CNN, logran los resultado que se pueden ver en la live demo!

Tal vez mejor es escuchar las palabras de Aaron

Saludos @ Burlington

El Bruno

References

#Flow – New action definition to use #ComputerVision operations. #CognitiveServices

Hi !

In the last couple of days, a new set of services were added to Microsoft Flow. In the Microsoft Flow Blog, they shared a complete description of the new services. I’ll focus this post on Computer Vision actions (part of Microsoft Cognitive Services suite). We will be able to perform image analysis, text recognition and more.

So, let’s try this with a very simple flow:

  • This Flow will start when a new file (image) is added to a OneDrive folder
  • The content of the image will be sent to Computer Vision to analyze the content
  • The result of the analysis process will be sent as a mobile notification

The next image displays a running log of this Flow.  The image saved on OneDrive display a group of people. The results are very accurate.

Clipboard05

The parameters to be used are very straight forward and we can easily match a OneDrive file with a Computer Vision action using the Analyze Image action definition.

Clipboard07

In the Computer Vision actions we can use the following ones:

Clipboard09

These actions are the same ones we can find in the API definition for Computer Vision (link). The extra one is related to “Recognize Domain Specific Content”. Which is a very interesting one.

Clipboard11

 

Greetings @ Toronto

El Bruno

References

#Flow – Ahora con soporte para #ComputerVision #CognitiveServices

Hola !

De a poco los servicios de Microsoft Congnitive Services se van agregando como acciones que podemos utilizar en la definición de Microsot Flow. En este caso, en el post oficial del blog de MS Flow comentan algunas novedades, y la que más me llama la atención es la capacidad de utilizar Computer Vision como una acción en nuestros Flows. Esto nos permitirá realizar análisis de imágenes, acciones de reconocimiento de texto, generar thumbnails y otras acciones más.

Al momento de probarlo, lo más simple es escribir un flow con los siguientes pasos

  • El Flow se inicia cuando se copia un archivo en un folder en OneDrive
  • Se envia el contenido del archivo a Computer Vision para analizar el mismo
  • Se muestra el resultado del análisis en una notificación

En la siguiente imagen podemos ver el log de ejecución de un Flow, donde se analiza una imagen con un grupo de personas.

Clipboard05

Si vemos un poco el detalle de los parámetros que utilizamos, podemos ver que es muy simple el utilizar OneDrive y el file content en la acción Analyze Image.

Clipboard07

Para finalizar remarcar que tenemos las siguientes opciones disponibles para utilizar.

Clipboard09

Las mismas se corresponden con las operaciones que se publican en la API (link)

Clipboard11

 

Saludos @ Toronto

El Bruno

References