#AI – Traducción en tiempo real de audio utilizando #CognitiveServices

Buenas!

Sigo con los pendientes después del Azure Global Bootcamp. Después de mostrar el Audio Bot, una de las preguntas clásicas en Canada, ¿es que pasa con el Frances?

Pues bien, Cognitive Services nos ofrece varios servicios que pueden sernos de utilidad. Independientemente de los servicios de CS que utilicemos, el proceso suele ser siempre el siguiente

  • Convertir el audio en texto
  • Convertir el texto de un idioma A a un idioma B.

En el primer paso es posible utilizar servicios locales del dispositivo para convertir el audio en texto, o si trabajas con un dominio de negocios especifico, Custom Speech Service es el servicio a utilizar.

Otra opción, que también es interesante es utilizar Translator Speech API. Este servicio utiliza un stream de audio como input y con una única llamada a un Http Endpoint. Vale la pena ver la implementación del servicio, ya que funciona con WebSockets enviando chunks de datos de un archivo de audio.

Lo mejor como siempre es ir a los ejemplos de código del repositorio de Microsoft Translator y ver como se han implementado los mismos. En el ejemplo para WPF podemos ver que definimos opciones como idioma de origen y destino, texto en subtítulos y más.

capture_001_30042018_190722

Al momento de inicial el servicio, el código se conecta al EndPoint y comienza a enviar el audio que se graba desde el Input Device

capture_002_30042018_190726

Casi en tiempo real, podemos ver como la aplicación traduce entre 2 idiomas

capture_003_30042018_190735

Además del ejemplo WPF, en los repos podemos ver ejemplos para iOS, Android, UWP y mas.

Happy Coding!

Greetings @ Toronto

El Bruno

References

#Flow –Analyzing images in #Sharepoint Lists using #CognitiveServices

Hi!

One of the examples of using Cognitive Services that I commented during the Global Azure Bootcamp was the automatic analysis of information on items in SharePoint lists. To achieve this we can create a Flow with the following steps

  • Trigger, Flow is triggered when a new Item is added to the SharePoint list
  • Get the contents of the file associated with the Item in the SharePoint list
  • Use Cognitive Services to obtain the tags and the description of the image
  • Update the Item Description with the information returned by CS

I1

After uploading a couple of images to the Sharepoint list we can see that the process works correctly

I11

If we see the description of each of the items we can see that the items have been updated correctly

 

The historical also shows us the correct step by step.

I2

However, in the history of 5 images, there are 2 that have failed. One of the advantages of working with Flow, is that, in the history of executions, it is easy to verify what step has failed. In this case, the last 2 images do not have the correct format to be analyzed with Cognitive Services

I3

Happy Coding!

Greetings @ Toronto

El Bruno

References

My posts on Flow

#Flow – Analizando imágenes en Listas de #Sharepoint utilizando #CognitiveServices

Buenas!

Uno de los ejemplos de utilización de Cognitive Services que comente durante el Global Azure Bootcamp consistía en el análisis automático de información en ítems de listas de SharePoint. Para lograr esto podemos crear un Flow con los siguientes pasos

  • Trigger, el Flow se dispara cuando se agrega un nuevo Item en la lista de SharePoint
  • Obtener el contenido del archivo asociado al Item de la lista de SharePoint
  • Utilizar Cognitive Services para obtener los tags y la descripción de la imagen
  • Actualizar la Descripción del Item con la información retornada por CS

I1

Luego de subir un par de imágenes a la lista de Sharepoint podremos ver que el proceso funciona correctamente

I11

Si vemos la descripción de cada uno de los ítems podremos ver que los ítems se han actualizado correctamente

 

El histórico también nos muestra el paso a paso correcto.

I2

Sin embargo, en el histórico de 5 imágenes, hay 2 que han fallado. Una de las ventajas de trabajar con Flow, es que, en el histórico de ejecuciones, es fácil comprobar que paso ha fallado. En este caso, las ultimas 2 imágenes no tienen el formato correcto para ser analizadas con Cognitive Services

I3

En próximos posts, otros escenarios donde utilizar CS puede ayudarnos con tareas del día a día.

Happy Coding!

Greetings @ Toronto

El Bruno

References

My posts on Flow

#Event – Materials used during the Global Azure Bootcamp [#ArtificialIntelligence – Using #Azure #CognitiveServices] #GlobalAzureTo

Hi!

I have to start by thanking Cheryl (@explorengcheryl), Ehsan (@ehsaneskandarim), Luca (@lucavgobbi), Armin (@ArminPage) and all the other people who participated in the organization of the event. Coordinating a session for almost 150 people is a challenge and this event has been a success. Congratulations!!!

DbWYkdmWkAIwoyN.jpg large.jpg

Personally spend a very pleasant time. I was lucky to see many people again, to put some real faces to many people and also close the event with a couple of laughs.

After a while doing this, I know that my session has gone as I wanted when the first tweets about it are not highlight the live coding demos (errors in demo mode included). But they focus on the toilet paper history and on the chihuahuas. And how we should not be afraid of AI, but take advantage of it to create better apps.

This sentence also makes some people think about it …

“My wife is never wrong. Even when she is wrong, there comes a time in the discussion in which surprisingly she returns to be right.”

Slide time

And source code and flow created during the session

https://github.com/elbruno/events/tree/master/2018%2004%2021%20Global%20Azure%20Bootcamp%20AI

See you again on 2019!

Greetings @ Burlington

El Bruno

Bonus: Otro par de tweets

 

 

 

 

 

 

 

 

 

 

#Event – Materiales utilizados durante el Global Azure Bootcamp en mi [#ArtificialIntelligence – Using #Azure #CognitiveServices] #GlobalAzureTo

Buenas!

Tengo que comenzar dando las gracias a Cheryl (@explorengcheryl), Ehsan (@ehsaneskandarim), Luca (@lucavgobbi), Armin (@ArminPage) y a todas las demás personas que participaron en la organización del evento. Coordinar una sesión para casi 150 personas es un desafío y este evento ha sido un éxito. Felicitaciones!!!

DbWYkdmWkAIwoyN.jpg large.jpg

En lo personal pase un rato muy agradable. Tuve la suerte de poder volver a ver a muchos conocidos, a desvirtualizar a muchas personas y además de cerrar el evento con un par de risas.

Después de un tiempo dando sesiones, se que mi sesión ha ido como yo quería cuando los primeros tweets al respecto no remarcan las demos codificando en vivo (errores en modo demo incluidos). Sino que se centran en la historia del papel higiénico y en los chihuahuas. Y en como no debemos tener miedo a AI, sino aprovechar la misma para crear mejores apps.

Y una frase que parece que ha marcado a varios

“My wife is never wrong. Even when she is wrong, there comes a time in the discussion in which surprisingly she returns to be right.”

Como siempre, es momento de compartir las slides

Y el código fuente de las apps y el Microsoft Flow que cree en directo durante la demo.

https://github.com/elbruno/events/tree/master/2018%2004%2021%20Global%20Azure%20Bootcamp%20AI

Una vez más, muchas gracias y nos vemos en el 2019!

Saludos @ Burlington

El Bruno

Bonus: Otro par de tweets

 

 

 

 

 

 

 

 

 

 

#Event – Global Azure Bootcamp 2018 #GlobalAzure

logo

Hi!

So, my friends from Azure Canada and the Metro Toronto .Net User Group have invited me to be part of the Global Azure Bootcamp 2018 event.

The event will be on April 21 at the Microsoft offices in Mississauga and we have an amazing agenda:

  • 9:00 – 9:15 Introduction and Housekeeping
  • 9:15 – 10:00 DevOps Projects by Max Yermakhanov
  • 10:00 – 10:15 Break (coffee provided)
  • 10:15 – 11:00 Azure Resource Manager by Adin Ermie
  • 11:00 – 11:45 Azure IoT Suite by Ehsan Eskandari
  • 11:45 – 1:00 Lunch Break
  • 1:00 – 1:45 Azure Application Insights by Ravi Yadav
  • 1:45 – 2:30 NoSQL in Azure by Obi Oberoi
  • 2:30 – 2:45 Break (coffee provided)
  • 2:45 – 3:30 AI using Azure Cognitive Services by Bruno Capuano
  • 3:30 – 4:15 Ask us anything session! (Speakers and Alex Drenea, Jack Lee, Callon Campbell)
  • 4:15 – 4:30 Close Out / Prizes

As always, it’s time to thank the sponsors and see what I can do to raise the level of the event. Mostly because of the canary challenge proposed by Santi from the amazing Canary Islands!

Greetings @ Burlington

El Bruno

 

#Event – Global Azure Bootcamp 2018 #GlobalAzure

logo

Buenas!

Pues eso, que los amigos de Azure Canada y de Metro Toronto .Net User Group me han liado para ser parte del Global Azure Bootcamp 2018.

El mismo se realizara el próximo 21 de Abril en las oficinas de Microsoft en Mississauga y menuda agenda tenemos:

  • 9:00 – 9:15 Introduction and Housekeeping
  • 9:15 – 10:00 DevOps Projects by Max Yermakhanov
  • 10:00 – 10:15 Break (coffee provided)
  • 10:15 – 11:00 Azure Resource Manager by Adin Ermie
  • 11:00 – 11:45 Azure IoT Suite by Ehsan Eskandari
  • 11:45 – 1:00 Lunch Break
  • 1:00 – 1:45 Azure Application Insights by Ravi Yadav
  • 1:45 – 2:30 NoSQL in Azure by Obi Oberoi
  • 2:30 – 2:45 Break (coffee provided)
  • 2:45 – 3:30 AI using Azure Cognitive Services by Bruno Capuano
  • 3:30 – 4:15 Ask us anything session! (Speakers and Alex Drenea, Jack Lee, Callon Campbell)
  • 4:15 – 4:30 Close Out / Prizes

Como siempre, es momento de agradecer a los sponsors y de ver que puedo hacer para subir el liston del challenge canario propuesto por Santi desde las fabulosas Islas Canarias!

Saludos @ Burlington

El Bruno

 

#Event – Materials used in the event [Introduction to Microsoft AI] with a bit of #WinML

Hi!

As always, it’s a pleasure to talk about Microsoft’s Artificial Intelligence platform. We had full house, and also the visit of Valentino and Martina.

On this occasion there were many attendees with a profile of Data Scientist, so the questions were more than interesting. The support and collaboration of Asmita were fundamental to answer all the questions about Azure Machine Learning, CNTK, Windows Machine Learning and other topics.

Now the classics, slides

GitHub source code link

Happy Coding!

Greetings @ Toronto

El Bruno

#Event – Materiales utilizados en el evento [Introducción a Microsoft AI] con un poco de #WinML

Buenas!

Como siempre ha un placer hablar sobre la plataforma de Inteligencia Artificial de Microsoft. Tuvimos full house, y ademas la visita de Valentino y Martina.

En esta ocasión hubo muchos asistentes con un perfil de Data Scientist con lo que las preguntas fueron mas que interesantes. El soporte y la colaboración de Asmita fueron fundamentales para poder responder todas las preguntas sobre Azure Machine Learning, CNTK, Windows Machine Learning y otros temas.

Ahora los clásicos, slides

Y source code en GitHub link

Happy Coding!

Saludos @ Toronto

El Bruno

#Event – Introduction to Microsoft AI (Full House !!!)

giphy

Hi!

Back to event mode and this time along with Asmita (Data Solution Architect, Microsoft Canada) to share some experiences on working with Microsoft’s Artificial Intelligence platform. As usually happens in these cases, she is the expert and I will only bring my point of view and my experience as a developer using and learning about these services.

The event is next March 21st thanks to the Metro Toronto .Net User Group. More details below

Introduction to Microsoft AI

Asmita and Bruno as duo will walk through the Microsoft AI platform and capabilities to allow any developer to infuse intelligence into their applications and target entirely new scenarios enabled by the latest innovations in AI. You’ll learn about API’s that provide object recognition, face detection and identification, emotion recognition, OCR, computer vision, video services, language understanding, sentiment analysis and more. They will also demonstrate how you can add customized intelligence to your solution or leverage AI services in conjunction with the Microsoft Bot Service.

Meetup: https://www.meetup.com/metrotorontoug/events/247266312/

Greetings @ Burlington

El Bruno