Category: Amazon

#Tutorial – How to build an #Amazon #AlexaSkill using Visual Studio 2017, C# and #Azure (5 on N)

Hi!

Now that I have written about how to use C # with Visual Studio 2017 to connect an Alexa Skill with an EndPoint in Azure, I think it’s time to share some contents which should be at the beginning of the series:

How to design and plan user interactions with Alexa

Of course, I will not write about it because the account of Alexa Developers has a great series of short videos about it. Here is the list of videos

How to Choose Projects for Voice – Amazon Alexa Voice Design Guide

Design for Voice in 3 Steps – Amazon Alexa Voice Design Guide

How to Understand Intents? – Amazon Alexa Voice Design Guide

How To Interact with Alexa – Amazon Alexa Voice Design Guide

And if we want something more for developers the next series of 6 episodes is what we should add to our list of videos

Developing Alexa Skills – Hello, Alexa! (Part 1 of 6)

 

Happy Coding!

Greetings @ Toronto

El Bruno

#Tutorial – Como crear un #Amazon #AlexaSkill con Visual Studio 2017, C# y #Azure (5 de N)

Buenas!

Ahora que ya he escritor sobre cómo utilizar C# con Visual Studio 2017 para conectar un Alexa Skill con un EndPoint en Azure, creo que es momento de escribir lo que debería ser el 1er post:

Como se debe diseñar y planificar las interacciones de usuario con Alexa

Eso sí, no voy a escribir al respecto ya que la cuenta de Alexa Developers tiene una serie grandiosa de videos cortos al respecto. He aquí la lista

How to Choose Projects for Voice – Amazon Alexa Voice Design Guide

Design for Voice in 3 Steps – Amazon Alexa Voice Design Guide

How to Understand Intents? – Amazon Alexa Voice Design Guide

How To Interact with Alexa – Amazon Alexa Voice Design Guide

Y si queremos algo más para developers la siguiente serie de 6 episodios es lo que debemos agregar a nuestra lista de

Developing Alexa Skills – Hello, Alexa! (Part 1 of 6)

 

Happy Coding!

Saludos @ Toronto

El Bruno

#Tutorial – How to build an #Amazon #AlexaSkill using Visual Studio 2017, C# and #Azure (4 de N)

Hi!

In the last post comment how to try a Skill using the traditional interface that is provided in the edition of an Alexa Skill. Well, another option that we have in Beta mode is [Test Simulator]

I1

This new interface allows us to make a couple of interesting actions. On the one hand, it allows us to enter the text with which we want to test our Skill in the same way that we would with an Amazon Echo device.

For example, if we would like [Help] to [Bruno Events] it will return the following results

I2

In this simulator we can listen to the same output that we will have in an Amazon Echo Device. The result for the Hololens Event question is similar

I3

And, finally we can try the Speech Recognition Features, since using the microphone of our computer, we can test our Skill directly with our voice.

I4

This allows us to try our Skill in the most natural way possible, even without having an Amazon Echo device.

Happy Coding!

Greetings @ Toronto

El Bruno

#Tutorial – Como crear un #Amazon #AlexaSkill con Visual Studio 2017, C# y #Azure (4 de N)

Buenas!

En el último post comente como probar un Skill utilizando la interfaz tradicional que se provee en la edición de un Alexa Skill. Pues bien, otra opción que tenemos en modo Beta es [Test Simulator]

I1

Esta nueva interfaz nos permite hacer un par de acciones interesantes. Por un lado, nos permite ingresar el texto con el que deseamos probar nuestra Skill de la misma manera que lo haríamos con un dispositivo Amazon Echo.

Por ejemplo, si soliciatmos [Help] a [Bruno Events] el mismo nos retornara lo siguiente

I2

Lo interesante de este simulador es que podremos escuchar el mismo output que tendremos en el Amazon Echo Device. El resultado para la pregunta de eventos de Hololens es similar

I3

Y, finalmente podremos probar las Features de Speech Recognition, ya que utilizando el micrófono de nuestro ordenador, podremos probar nuestra Skill directamente con nuestra voz.

I4

Esto nos permite probar nuestro Skill de la forma más natural posible, aun sin tener un Amazon Echo device.

Happy Coding!

Saludos @ Toronto

El Bruno

#Tutorial – How to build an #Amazon #AlexaSkill using Visual Studio 2017, C# and #Azure (3 on N)

Hi !

In the previous post describe the steps necessary to create a WebSite that interacts with an Alexa Skill. The next step is to publish the website in Azure. There are many tutorials on how to do this, so I will not write the necessary steps (see references)

In my case I published my Alexa Skill Website in the following url

http://alexaskillbrunoevents.azurewebsites.net/

I1

It is important to remember the URL since it is the one that we will use in the configuration of our Skill.

Now it’s time to go back to the Amazon Developer Portal and edit the Skill we created in the 1st post. In the section [Configuration] we must define the location of the interaction endpoint, which in this case is our Azure WebApp

I2

Important: By default the url we got from Azure is a HTTP site, we should change this to HTTPS to be used in Amazon Alexa Skill.

The other values ​​in this section are left with their default values ​​and we go to the [SSL Certificate] section. In the case of Azure sites, they already have a certificate for safe navigation. We must select the 2nd option.

I3

And finally we get to the testing section [Test]. In it we can see, in JSON mode, the different messages that are sent from Alexa to our EndPoint. For example, if we invoke something simple like “help” we will have the following result

I4

{
"version": "1.0",
"response": {
"outputSpeech": {
"text": "Intent called AMAZON.HelpIntent.",
"type": "PlainText"
},
"speechletResponse": {
"outputSpeech": {
"text": "Intent called AMAZON.HelpIntent."
},
"shouldEndSession": true
}
},
"sessionAttributes": {
"intentSequence": "GetEventInformationIntent;GetEventInformationIntent;AMAZON.HelpIntent",
"EventTopic": "hololens"
}
}

view raw
AlexaSkillResponseForHelp.json
hosted with ❤ by GitHub

If for example we invoke something more complicated than using Slots, we will see a different result. In this example, I ask Alexa for events about Hololens

I5

{
"version": "1.0",
"response": {
"outputSpeech": {
"text": "Intent called GetEventInformationIntent. Slots used: \r\nEventTopic – hololens , ",
"type": "PlainText"
},
"speechletResponse": {
"outputSpeech": {
"text": "Intent called GetEventInformationIntent. Slots used: \r\nEventTopic – hololens , "
},
"shouldEndSession": true
}
},
"sessionAttributes": {
"intentSequence": "GetEventInformationIntent;GetEventInformationIntent;AMAZON.HelpIntent;GetEventInformationIntent;GetEventInformationIntent;GetEventInformationIntent;AMAZON.HelpIntent;GetEventInformationIntent;GetEventInformationIntent",
"EventTopic": "hololens"
}
}

view raw
AlexaSkillResponseForHololensEvent.json
hosted with ❤ by GitHub

Well, this gives an idea about how to connect an Azure Api App to be the EndPoint of an Alexa Skill. In the following posts we will see more details on how to add extra functionality to the backend and how to use the new Alexa test environment.

Happy Coding!

Greetings @ Toronto

El Bruno

References

#Tutorial – Como crear un #Amazon #AlexaSkill con Visual Studio 2017, C# y #Azure (3 de N)

Buenas!

En el post anterior describir los pasos necesarios para crear un WebSite que interactúe con un Alexa Skill. El siguiente paso es publicar el mismo en Azure.  Hay muchos tutoriales sobre como hacer esto, así que no escribiré los pasos necesarios (ver referencias)

En mi caso he publicado el site en la siguiente url

http://alexaskillbrunoevents.azurewebsites.net/

I1

Es importante recordar la URL ya que es la que utilizaremos en la configuración de nuestro Skill.

Ahora es momento de abrir nuevamente el Amazon Developer Portal y editar el Skill que creamos en el 1er post. En la sección [Configuration] debemos definir la ubicación del endpoint de interaccion, que en este caso es nuestro site de Azure

I2

Importante: Por defecto la publicación se realiza con http, debemos cambiar el mismo por https.

Los demás valores de esta sección los dejamos con sus valores por defecto y pasamos a la sección [SSL Certificate]. En el caso de los sites en Azure, los mismos poseen ya un certificado para la navegación segura. Debemos seleccionar la 2da opción.

I3

Y finalmente llegamos a la sección de pruebas [Test]. En la misma podremos ver, en modo JSON, los diferentes mensajes que se envían desde Alexa a nuestro EndPoint. Por ejemplo, si invocamos algo simple como “help” tendremos el siguiente resultado

I4

{
"version": "1.0",
"response": {
"outputSpeech": {
"text": "Intent called AMAZON.HelpIntent.",
"type": "PlainText"
},
"speechletResponse": {
"outputSpeech": {
"text": "Intent called AMAZON.HelpIntent."
},
"shouldEndSession": true
}
},
"sessionAttributes": {
"intentSequence": "GetEventInformationIntent;GetEventInformationIntent;AMAZON.HelpIntent",
"EventTopic": "hololens"
}
}

view raw
AlexaSkillResponseForHelp.json
hosted with ❤ by GitHub

Si por ejemplo invocamos algo mas complicado que utilice Slots, veremos un resultado diferente. En este ejemplo, le pregunto a Alexa por eventos sobre Hololens

I5

{
"version": "1.0",
"response": {
"outputSpeech": {
"text": "Intent called GetEventInformationIntent. Slots used: \r\nEventTopic – hololens , ",
"type": "PlainText"
},
"speechletResponse": {
"outputSpeech": {
"text": "Intent called GetEventInformationIntent. Slots used: \r\nEventTopic – hololens , "
},
"shouldEndSession": true
}
},
"sessionAttributes": {
"intentSequence": "GetEventInformationIntent;GetEventInformationIntent;AMAZON.HelpIntent;GetEventInformationIntent;GetEventInformationIntent;GetEventInformationIntent;AMAZON.HelpIntent;GetEventInformationIntent;GetEventInformationIntent",
"EventTopic": "hololens"
}
}

view raw
AlexaSkillResponseForHololensEvent.json
hosted with ❤ by GitHub

Pues bien, esto da una idea sobre como conectar un Azure Api App para que sea el EndPoint de un Alexa Skill. En los siguientes posts veremos mas detalles sobre como agregar funcionalidad extra al backend y sobre cómo utilizar el nuevo entorno de pruebas de Alexa.

Happy Coding!

Saludos @ Toronto

El Bruno

References

#Tutorial – How to build an #Amazon #AlexaSkill using Visual Studio 2017, C# and #Azure (2 on N)

Hi!

Well, in today’s post we will see how to create an Azure API App, which we will then use as an Alexa Skill backend that we created in the previous post.

Tommy describes in an excellent way how to create a website and prepare him to work with Alexa Skill in this post (link). This project uses the NuGet Package Alexa Skills Kit.
Net for the processing of messages with Amazon Alexa.

I have created a template for Visual Studio 2017 that can be downloaded from here (link) and that allows us to create a project already configured to work with Alexa Skills.

Note: the quick way to import this template is to copy the file [WebApi Alexa Skill.
zip] to the Visual Studio 2017 project directory. Usually in [% \ Documents \ Visual Studio 2017 \ Templates \ ProjectTemplates \ Visual C #]

We create a new project using the imported type.

I1.jpg

We compiled the project to refresh the NuGet references, update the NuGet packages and we can start working.

i2.jpg

The 2 main elements in the project are

  • Controllers / AlexaController.cs. This is an standard ApiController wchi will handle the Alexa requests. It uses 2 HTTP requests
    • HTTP GET mostly for testing
    • HTTP POST process Alexa requests with the class [AlexaResponseAsync]
  • Alexa / AlexaResponseAsync.cs. All the business logic is here.

So, in the Alexa Response class we will add some basic changes

  • Línea 7, change the message used on the skill activation event
  • Líneas 10 a 22, creates a message including the Intent name and the used slots.

Something similar to this

namespace AlexaSkillBrunoEvents.Alexa
{
public class AlexaSkillBrunoEvents : SpeechletAsync
{
public override Task<SpeechletResponse> OnLaunchAsync(LaunchRequest launchRequest, Session session)
{
return Task.FromResult(CompileResponse("Launch Event for Bruno Events"));
}
public async override Task<SpeechletResponse> OnIntentAsync(IntentRequest intentRequest, Session session)
{
var message = new StringBuilder();
message.Append($"Intent called {intentRequest.Intent}.");
if (intentRequest.Intent.Slots.Count > 0)
{
message.Append($" Slots used. ");
foreach (var intentSlot in intentRequest.Intent.Slots)
message.Append($"{intentSlot.Key} ");
}
var response = CompileResponse(message.ToString());
return await Task.FromResult(response);
}
public override Task OnSessionStartedAsync(SessionStartedRequest sessionStartedRequest, Session session)
{
return Task.FromResult(0);
}
public override Task OnSessionEndedAsync(SessionEndedRequest sessionEndedRequest, Session session)
{
return Task.FromResult(0);
}
public static SpeechletResponse CompileResponse(string output)
{
var response = new SpeechletResponse
{
OutputSpeech = new PlainTextOutputSpeech { Text = output },
ShouldEndSession = true
};
return response;
}
}
}

view raw
AlexaSkillBrunoEventsAlexaSkillBrunoEvents.cs
hosted with ❤ by GitHub

So far the creation of the web project. In the next post, we will see how to publish this website and connect it with the Alexa Skill.

Happy Coding!

Greetings @ Toronto

El Bruno

References

#Tutorial – Como crear un #Amazon #AlexaSkill con Visual Studio 2017, C# y #Azure (2 de N)

Buenas!

Pues bien, en el post de hoy veremos cómo crear un Azure API App, que luego utilizaremos como backend del Alexa Skill que hemos creado en el post anterior.

Tommy describe de una forma excelente como crear un website y prepararlo para trabajar con Alexa Skill en este post (link). Este proyecto utiliza el NuGet Package Alexa Skills Kit.Net para el procesado de los mensajes con Amazon Alexa.

Yo he creado una plantilla para Visual Studio 2017 que se puede descargar desde aquí (link) y que nos permite crear un proyecto ya configurado para trabajar con Alexa Skills.

Nota: la forma rápida de importar esta plantilla es copiar el archivo [WebApi Alexa Skill.zip] al directorio de proyectos de Visual Studio 2017. Usualmente en [%\Documents\Visual Studio 2017\Templates\ProjectTemplates\Visual C#]

Creamos un nuevo proyecto del tipo importado.

I1.jpg

Compilamos el proyecto para refrescar las referencias de NuGet, actualizamos los NuGet packages y ya podemos comenzar a trabajar.

i2.jpg

Los 2 elementos principales a trabajar son

  • Controllers / AlexaController.cs. Un ApiController standard que es el encargado de procesar las peticiones desde Alexa. Tiene 2 puntos de entrada
    • HTTP GET utilizado para pruebas
    • HTTP POST procesa las peticiones de Alexa utilizando [AlexaResponseAsync]
  • Alexa / AlexaResponseAsync.cs. Esta clase es la encargada de procesar los eventos de Alexa.

Es en esta ultima clase donde aplicaremos la mayoría de los cambios. Por ejemplo

  • Línea 7, cambiamos el mensaje que se retorna cuando se activa el Skill
  • Líneas 10 a 22, el mensaje que se retorna en cada Intent, retorna el nombre del Intent y si hay Slots, los slots utilizados en el mismo.

El código resultante es similar al siguiente

namespace AlexaSkillBrunoEvents.Alexa
{
public class AlexaSkillBrunoEvents : SpeechletAsync
{
public override Task<SpeechletResponse> OnLaunchAsync(LaunchRequest launchRequest, Session session)
{
return Task.FromResult(CompileResponse("Launch Event for Bruno Events"));
}
public async override Task<SpeechletResponse> OnIntentAsync(IntentRequest intentRequest, Session session)
{
var message = new StringBuilder();
message.Append($"Intent called {intentRequest.Intent}.");
if (intentRequest.Intent.Slots.Count > 0)
{
message.Append($" Slots used. ");
foreach (var intentSlot in intentRequest.Intent.Slots)
message.Append($"{intentSlot.Key} ");
}
var response = CompileResponse(message.ToString());
return await Task.FromResult(response);
}
public override Task OnSessionStartedAsync(SessionStartedRequest sessionStartedRequest, Session session)
{
return Task.FromResult(0);
}
public override Task OnSessionEndedAsync(SessionEndedRequest sessionEndedRequest, Session session)
{
return Task.FromResult(0);
}
public static SpeechletResponse CompileResponse(string output)
{
var response = new SpeechletResponse
{
OutputSpeech = new PlainTextOutputSpeech { Text = output },
ShouldEndSession = true
};
return response;
}
}
}

view raw
AlexaSkillBrunoEventsAlexaSkillBrunoEvents.cs
hosted with ❤ by GitHub

Hasta aquí la creación del proyecto web. En el próximo post, veremos como publicar este website y conectarlo con la Alexa Skill.

Happy Coding!

Saludos @ Toronto

El Bruno

References

#Tutorial – How to build an #Amazon #AlexaSkill using Visual Studio 2017, C# and #Azure (1 de N)

Hi!

After a couple of weeks of events where Artificial Intelligence was one of the topics I talk and share the most, it’s time to write step by step on:

How to create an Alexa Skill for Amazon Echo and connect it with a WebSite in Azure

The people at Amazon are nicer than hot bread and give us all the tools to create these elements within the Amazon ecosystem. I’m rather a simple mind person, so I’ll do it with a mix between Amazon and Azure.

The first thing we must do is register in the Amazon Developer Portal.

I1

And enter the Amazon Alexa section to create our 1st Skill. Once we have our Developer account we can see the options of Alexa

  • Alexa Skills Kit
  • Alexa Voice Service

Select the 1st choice and then [Add a new Skill]

I2

The idea of ​​this tutorial is to learn how to create and connect a Skill with a service in Azure. If you want to understand more about how the Skills work, I recommend you check the references.

Well, the definition of a Skill consists of 7 sections. We begin with the information section of the Skill. In it we must define the type of Skill, which will be [Custom Interaction Model], the language, name and [Invocation name] of the Skill.

For this sample, the Skill that I will create will be one that allows to know a little information about the events that I have participated. So, [bruno events] looks like a good Invocation Name to use.

I3

We do not need our Skill to interact with the Audio Player or the Video viewer, so let’s leave the Global Fields unmodified.

The next step is to define our interaction language with the Skill. If you’re more of Microsoft’s world, this section is what we at Cognitive Services know as LUIS: Language Understanding Intelligent Service.

The definition of the Schema is defined in JSON format based on a definition that is hard to read and write (sorry I’m a visual dude!). Until recently, this was to edit text by hand. Fortunately, we can use a Skill Builder that presents a much friendlier interface for this task.

I4

Important: Here my advice is to see the 3 videos that are in the Skill Builder to understand how to use it.

In addition to the 3 Intents that are added in a Skill by default, we will create a new Intent called [GetEventInformationIntent]

I5

Before completing Intent information, I have decided to create a new Slot Type with the different themes that I deal with in my events. It will be called [EventTopic]

I6

These are the values ​​that I will add to [EventTopic]. I will focus on the last 5 or 10 events and these topics will be enough to have a coherent search

I7

Now it’s time to go back to the Intent [GetEventInformationIntent] and add a couple of utterances. In this case, each of my sample utterances will use the Slot Type that we have created to make sense of the question we will ask Alexa

I8

Classic dev steps > Save Model & Build Model.

I9

And here comes this post, in the following posts we will see how to create a website in Azure and how to connect to it with this Skill.

Happy Coding!

Greetings @ Burlington

El Bruno

#Tutorial – Como crear un #Amazon #AlexaSkill con Visual Studio 2017, C# y #Azure (1 de N)

Buenas!

Después de un par de semanas de eventos donde Artificial Intelligence fue uno de los temas en los que mas me enfoque, me toca sacar tiempo para escribir el paso a paso sobre:

Como crear un Alexa Skill para Amazon Echo y conectarla con un WebSite en Azure.

La gente de Amazon es mas maja que el pan caliente y nos da todas las herramientas para crear estos elementos dentro del ecosistema de Amazon. Yo que soy mas bien simple, lo hare con un mix entre Amazon y Azure.

Lo primero que debemos hacer es darnos de alta en el Amazon Developer Portal.

I1

Y entrar a la sección Amazon Alexa para crear nuestra 1ra Skill. Una vez que tengamos nuestra cuenta de Developer podremos ver las opciones de Alexa

  • Alexa Skills Kit
  • Alexa Voice Service

Seleccionamos la 1ra opción y luego la opción [Add a new Skill]

I2

La idea de este tutorial es aprender como crear y conectar una Skill con un servicio en Azure. Si quieres comprender mas a fondo como funcionan las Skills, te recomiendo revisar las referencias.

Pues bien, la definición de una Skill consta de 7 secciones. Comenzamos por la sección de información de la Skill. En la misma debemos definir el tipo de Skill, que será [Custom Interaction Model], el lenguaje, nombre e [Invocation name] de la Skill.

En este caso, la Skill que creare será una que permita conocer un poco de información de los eventos que los que he participado. [bruno events] parece un buen Invocation Name para utilizar.

I3

En este caso no necesitamos que nuestra Skill interactuar con el Audio Player ni con el visor de Videos, con lo que dejamos las Global Fields sin modificar.

El siguiente paso es definir nuestro lenguaje de interacción con la Skill. Si eres mas del mundo de Microsoft, esta sección es lo que en Cognitive Services conocemos como LUIS: Language Understanding Intelligent Service.

La definición del Schema se define en formato JSON basado en una definición que cuesta leer. Hasta hace poco tiempo, esto era editar texto a mano. Por suerte, podemos utilizar un Skill Builder que nos presenta una interfaz mucho más amigable para esta tarea.

I4

Importante: Aquí mi consejo es ver los 3 videos que hay en el Skill Builder para comprender como utilizar el mismo.

Además de los 3 Intents que se agregan en un Skill por defecto, crearemos un nuevo Intent llamado [GetEventInformationIntent]

I5

Antes de completar información del Intent, he decidido crear un nuevo Slot Type con los diferentes temas que trato en mis eventos. El mismo se llamará [EventTopic]

I6

Estos son los valores que agregare a [EventTopic]. Me centrare en los últimos 5 o 10 eventos y estos temas serán suficientes para tener una búsqueda coherente

I7

Ahora es momento de volver al Intent [GetEventInformationIntent] y agregar un par de utterances. En este caso cada una de mis sample utterances utilizara el Slot Type que hemos creado para dar sentido a la pregunta que le haremos a Alexa

I8

Los siguientes pasos son un clásico para los developers, Save Model & Build Model.

I9

Y hasta aquí llega este post, en los siguientes posts veremos como crear un website en Azure y como conectar al mismo con este Skill.

Happy Coding!

Saludos @ Burlington

El Bruno