#Humor – A/B Testing … or maybe not

Hi !

It’s time to relearn my A/B testing ideas…

ab-testing

Greetings @ Toronto

El Bruno

Just in case, Wikipedia A/B Testing

Advertisements

[#TFS] Microsoft Leader in Gartner magic Quadrant for Integrated Software Quality Suites

Ms love linux

Hello!

Every year the suite of Visual Studio ALM improves in every aspect, today recognition is dedicated to the testing stuff. The current version included in Visual Studio 2013 and 2013 Team Foundation Server is a big improvement over the 1st versions and also has improved in key areas such as reporting, adaptation to changes and customization.

This has been demonstrated within the report made by Gartner Analysts focused in quality tools. In this report Microsoft is within the top range of testing tools in the classic Magic Quadrant (which you can see here)

It is also interesting to see as within the weaknesses of Microsoft tools, they stressed that they are very oriented towards Microsoft development environments. Although that becomes the main virtue in the strengths, since if your working tool is Visual Studio, or you work with Azure, here the Visual Studio ALM tools become a #MustHave.

And when we started talking about the cloud world it is when testing tools (performance, scalability, etc) are starting to be in a gray area. Especially if we talk about the Microsoft cloud world. Since Microsoft’s CEO commented 2 days ago something like “Microsoft loves Linux“, that means that the testing tools that work so well integrated in Visual Studio now are transparent to any backend, maybe in Linux.

And here boundaries are not so clear, it is true that the testing tools are very complete for developments on Microsoft technologies. However, if Microsoft continues to open fronts such as Linux on Azure, as the support to Open Source projects, etc.; sometime testing tools will start to have to deploy hybrid environments or even delegate functionality to other suites.

Personally, I think that the big picture here is to understand how it is possible to integrate all of these options depending on the context you are working, and obviously, start playing the Magic Quadrant also as a guide to the evolution of tools, where we can see how MS has been gaining ground every year.

Best regards

/El Bruno

Source: http://www.gartner.com/technology/reprints.do?id=1-20TBOUS & ct = 140903 & st = sb

[#TFS] Microsoft Leader in Gartner magic Quadrant for Integrated Software Quality Suites

Ms love linux

Hola!

Hace un par de años que la suite de Testing de Visual Studio ALM sigue mejorando. La versión actual incluida en Visual Studio 2013 y Team Foundation Server 2013 es un avance muy grande con respecto a las 1ras versiones y además ha mejorado en aspectos fundamentales como es el reporting, adaptación a cambios y personalización.

Esto ha quedado demostrado dentro del informe que realizan los analistas de Gartner relacionados con herramientas de análisis de calidad (testing). En este informe Microsoft queda dentro de la gama Top de las herramientas de testing en su clásico Magic Quadrant (que puedes ver aquí)

Es también interesante ver como dentro de las debilidades de las herramientas de Microsoft, recalcan que las mismas están muy orientadas hacia entornos de desarrollo de Microsoft. Aunque eso se convierte en la principal virtud, ya que si tu herramienta de trabajo es Visual Studio, o trabajas con Azure, aquí las herramientas de Visual Studio ALM se convierten en un #MustHave.

Y cuando empezamos a hablar del mundo cloud es cuando las herramientas de testing (performance, escalabilidad, etc) empiezan a ser grises. Especialmente si hablamos del mundo Microsoft, ya que como el CEO comentó hace 2 días “Microsoft loves Linux“, eso significa que las herramientas de testing que tan bien funcionan integradas en Visual Studio ahora son transparentes para un backend, tal vez en Linux.

Aquí los límites no están tan claros, es cierto que las herramientas de testing son muy completas para desarrollos sobre tecnologías Microsoft. Sin embargo si Microsoft sigue abriendo frentes como el de Linux sobre Azure, como el soporte a proyectos Open Source, etc; en algún momento las herramientas de testing comenzarán a tener que implementar entornos híbridos o inclusive delegar funcionalidad en otras suites más completas.

Personalmente, creo que la big picture aquí es comprender cómo es posible integrar todas estas opciones dependiendo del contexto sobre el que se trabaja, Y obviamente, comenzar a interpretar al Magic Quadrant también como una guía sobre la evolución de las herramientas, en la que podemos ver cómo MS ha ido ganando terreno año a año.

Saludos

/El Bruno

Fuente: http://www.gartner.com/technology/reprints.do?id=1-20TBOUS&ct=140903&st=sb

[#EVENT] Software Testing with Microsoft Test Manager and Lab Management for MSDN LATAM and EALA (and a great cospeaker!)

Hello!

On Thursday afternoon, friends of MSDN LATAM give me the opportunity to talk about one of the products that has most evolved within the suite of Visual Studio ALM: Test Manager & Lab Management .

The official registration can be done here, and also premiered schedule so that they can connect from MSDN Latin America (as always) and in addition since EALA also: 1600 GMT +1. Other big news is that I will accompany Juan Quijano (@jc_quijano), a crack topic and that comes by squeezing it for some time.

By the way, if you don’t know that will Test Manager, as a picture to explain it

image

Registration: https://msevents.microsoft.com/CUI/EventDetail.aspx?EventID=1032580392&Culture=en-AR&community=0

Saludos @ La Finca

El Bruno

image image image Google

[#EVENT] Pruebas de software con Microsoft Test Manager y Lab Management para MSDN LATAM y EALA (y cospeaker de lujo!)

Hola!

Este jueves por la tarde, los amigos de MSDN Latam me dan la oportunidad de hablar de uno de los productos que más ha evolucionado dentro de la suite de ALM de Visual Studio: Test Manager & Lab Management.

El registro oficial se puede realizar aquí, y además estrenamos horario para que se puedan conectar desde MSDN Latinoamérica (como siempre) y además desde EALA también: 1600 GMT+1. Otra gran novedad es que me acompañará Juan Quijano (@jc_quijano), un crack del tema y que lo viene exprimiendo desde hace un tiempo.

Por cierto, si no sabes de que va Test Manager, pues una imagen para explicarlo

image

Registro: https://msevents.microsoft.com/CUI/EventDetail.aspx?EventID=1032580392&Culture=es-AR&community=0

Saludos @ Home

El Bruno

image image image Google

[#VS2013] Load Testing in the cloud

image

Buenas

Además de las novedades que llegarán de la mano de Visual Studio 2013 y de Team Foundation Server 2013, hay una muy interesante que está disponible en Team Foundation Service aunque solo puedes probar con Vs2013: la capacidad de realizar Load Tests utilizando Team Foundation Service. Por ejemplo, cuando hoy editamos un archivo de configuración para la ejecución de tests vemos las siguientes opciones en VS2012.

image

Visual Studio 2013 agrega una opción más que interesante: la capacidad de ejecutar estos tests utilizando el cloud (Team Foundation Service).

image

Luego una vez configurado y ejecutados los mismos, podremos ver los resultados directamente como si fuese en local

Progress on your load test

Obviamente por cuestiones de disponibilidad, no podrás ejecutar TODOS los tests del mundo por ahora en el modo Prerview, estará limitado a una cantidad X de ejecuciones y de carga. Lo que si será posible es utilizar la feature con una extensión para VS2012 o con la preview de Visual Studio 2013. pues eso … ahora toca esperar al Build el 26 de Junio para poder probar esto también Risa

 

Saludos @ La Finca

El Bruno

image image image

[#MTM2012] Ejecutando scripts de test en modo web sin instalar MTM

image

Buenas,

Mira que tiene años, pero el post de Rodrigo Corralla calidad no es opcional” es uno de esos que siempre leo y releo y recomiendo a la gente que los lea. Ahora bien, en la época en la que Rodrigo escribió este post, Visual Studio (Team System) era una herramienta más bien “pobre” si hablamos de testing. Estábamos estrenando MSUnit, que se habia inspirado en NUnit, que a su vez era un reflejo muy similar a JUnit … bueno que me lio con historietas.

Nota: “inspirarse” queda mucho mejor que “copiar” en este tipo de posts 😛

Mucho ha pasado desde esos días, 3 major versions de Visual Studio y hoy dentro de la suite de productos, tenemos uno especialmente dedicado al testing: Microsoft Test Manager. Esta herramienta especialmente dedicada para el diseño y ejecución de System Tests, va por su segunda versión y si bien anda un poco floja de informes, tiene features increíbles como la integración con Lab Management.

Una de las cosas que más me gustan es su modo sidebar cuando defines un script de test manual y lanzas el mismo para de esta forma probar una aplicación. Deste esta sidebar tienes capacidades clásicas como por ejemplo tomar un screenshot del escritorio, algunas más interesantes como grabar un video del test completo y otras simplemente geniales como tener la traza histórica de ejecución a nivel ensamblados .Net, utilizando IntelliTrace.

Pero (siempre hay un pero), necesitas tener instalado MTM. Que de por sí es una herramienta bastante compleja y que requiere cierto nivel de especialización para trabajar con la misma.

¿Qué pasa si yo quiero que un cierto grupo usuarios claves pudiesen lanzar una prueba guiada y obtener el feedback de los mismos?

Con VS2012 podíamos solicitar feedback o lanzar “pruebas” sin guión” y de esta forma completar este esquema, aunque seguíamos teniendo que solicitar la instalación de MTM como producto. (ejemplos aquí, aquí y aquí)

Con el último update para VS2012 y TFS2012 vemos que ya tenemos una interfaz web para cubrir parcialmente estos escenarios y que nos permite cubrir los mismos sin la necesidad de tener que instalar y configurar MTM.

Nota: Aquí tengo un vacío legal en cuanto al tema de licencias, en cuanto me informe de como funcionan las mismas, aclararé este punto en otro post.

Veamos un ejemplo, donde comienzo desde la interfaz web accedo al menu Test. Dentro del mismo, veo que tengo la capacidad de ver mi árbol de Test Plans. Dentro de cada Test Plan puedo ver las Test Suites asociadas.

image

Si decido ejecutar un test suite, tendré una nuevo IE en modo PopUp que me mostrará los pasos a ejecutar para este test suite.

image

En este vista web las opciones que tengo son las mínimas necesarias para poder ejecutar mi plan de pruebas:

  • Marcar el plan como passed, blocked, failed or not applicable
  • Agregar un comentario en cada paso
  • Crear un Bug a partir de la información del test

image

Pues aquí lo tienes, una versión de MTM más “light” que cubre esos escenarios donde se nos hacía tedioso explicar el porqué de la instalación de MTM.

 

Saludos @ Home

El Bruno

image image image

[#MTM11] Microsoft Test Manager 11: Bienvenido Exploratory Testing (I)

image

Buenas,

hoy me toca cambiar de herramienta y después de hablar de Visual Studio 11 y de Team Foundation 11, hoy le damos un repaso a la 3ra herramienta de la suite: Microsoft Test Manager 11. (en realidad con VS11 hay varias más, pero vamos por partes).

Una de las novedades que se incorporan en esta versión, es la capacidad de realizar “Exploratory Testing” (no sé cual es el simil en castellano). Esta modalidad de test, se implementa cuando se decide probar una aplicación sin guiarse por un guión de pruebas.

Este modo de pruebas (que no es la clásica prueba del mono loco), es muy útil cuando trabajas en iteraciones muy ágiles, con fases de diseño e implantación que van madurando a medida que avanza el producto.

Lo interesante de las pruebas exploratorias (sigue sin gustarme el término), es que luego podemos asociar las mismas a uno o más WorkItems para dar lugar así, a lo que ya conocemos de ALM y Team Foundation. Por ejemplo, si trabajamos con una historia de usuario con la siguiente información:

As a <code monkey> I want <a code editor tool> so that <I can write awesome code>

y comenzamos una sesión de exploratory testing asociada a esa User Story, pues los errores que encontremos se asociarán automáticamente a la US.

Veamos un ejemplo, con mi user story anterior que es la Nro 4. Cuando lanzo MTM11, veo que en la sección de TEST tengo una opción “do exploratory testing”, pues bien, la lanzamos y vemos que tenemos la opción de seleccionar la User Story con la que queremos trabajar.

image

En este punto lanzamos la opción de pruebas exploratorias y nos encontramos con la sidebar de MTM para comenzar nuestras pruebas, pero sin ningun test script.

image

En este punto puedo crear, bugs, test cases, o inclusive asociar a esta prueba screenshots o información adicional como comentarios.

Para darle sentido a esta prueba, he lanzado el notpad y he comenzado a programar en el mismo.

image

Pero claro, me he encontrado con la falta de uná opción “BUILD” dentro del notepad, asi que reportaré un BUG. Un detalle interesante en este punto, es que este tipo de pruebas, lleva un log completo de nuestras acciones para poder reportar las mismas.

image.

Pero también es posible que a partir de las acciones que hemos realizado, necesitemos crear un Test Case. En este caso, aprovechamos la opción Create Test Case y ya tendremos un script de pruebas con las acciones que he realizado.

image

Cuando hemos creado estos elementos relacionados, ya podemos verlos en el log de acciones de la sidebar de MTM.

image

Finalmente, a partir de nuestro test sin script hemos creado una nueva sesion de Exploratory Testing.

image

Luego podremos volver a la misma

image

o inclusive ver los demás elementos que hemos creado.

Y solo por curiosidad, este es el ActionLog que ha creado para mi MTM

  • Launch ‘%windir%\System32\notepad.exe’
  • Type the following paragraph in ‘Unknown Name’ text box
  • ‘public class Demo()
  • ‘ in the window ‘Untitled – Notepad’
  • Type ‘Alt, Control + ” in ‘Unknown Name’ text box
  • Type ‘Alt, Control + ?’ in ‘Unknown Name’ text box
  • Type the following paragraph in ‘Unknown Name’ text box
  • public class Demo()
    {
    }’
  • Type ‘{Up}{Right}’ in ‘Unknown Name’ text box
  • Click ‘File’ menu item
  • Click ‘File’ -> ‘Save As…’ menu item
  • Click ‘Favorites’ -> ‘Desktop’ tree item in the window ‘Save As’
  • Click ‘Favorites’ -> ‘Desktop’ tree item
  • Click window numbered 2 in ‘Explorer Pane’ pane
  • Select ‘demo.cs’ in ‘File name:’ combo box
  • Type ‘{Enter}’ in ‘File name:’ text box
  • Click ‘View’ -> ‘Status Bar’ menu item in the window ‘demo.cs – Notepad’
  • Type ‘Control + {F11}’ in ‘Unknown Name’ text box in the window ‘Untitled – Notepad’

También es posible realizar pruebas exploratorias, sin asociar a ninguna User Story, lo dejamos para otro post.

 

Saludos @ Home

El Bruno