El Bruno

Buenas!

Hace un par de semanas comente que la nueva capacidad en Windows 10 de poder utilizar modelos de ML de forma nativa en W10 Apps significaría un gran avance en todo el ecosistema de Devices de Windows 10. Como ya sabemos que la nueva version de Hololens incorporar un chip especialmente dedicado a tareas de AI (DNN específicamente), pues era de suponer que en Hololens V2 podríamos comenzar a utilizar Windows ML.

Lo que no esperaba es que en la version Preview de Windows 10 RS4 para Hololens ya tuviésemos acceso a esa capacidad. No he tenido tiempo de dedicarle a mis Hololens para actualizarlas a RS4, sin embargo, grandes referencias han compartido experiencias más que interesantes.

Por ejemplo, veamos este video de Rene Schulte, donde muestra una App que en tiempo real realiza una clasificación de imágenes utilizando el modelo ONNX SqueezeNet

Mike Taulty también ofrece una serie de posts donde realiza un trabajo excelente al respecto. En primer lugar, comenta como crear un modelo utilizando Azure Custom Vision, exportar el mismo a CoreML y luego crear un modelo ONNX.

Importante: actualmente ONNX es el tipo de modelos soportados por Windows ML. Es posible exportar modelos de CoreML, TensorFlow, CNTK y otros frameworks a ONNX.

A partir de aquí, Mike comenta como trabajar con UWP y C# con el modelo exportado. En siguientes posts, Mike también explica cómo, gracias a Hololens RS4 Preview, también se pueden utilizar estas capacidades en aplicaciones para Hololens (ver referencias)

Pues bien, si te animas a poner una version Preview en Hololens, es un momento muy interesante para comenzar a pensar en escenarios donde combinar WinML y Hololens!

Happy Coding!

Saludos @ Toronto

El Bruno

References

• Windows Machine Learning
• Gaming with Windows ML
• Unity ML-Agents
• Hololens RS4 Preview
• Mike Taulty, First Experiment with Image Classification on Windows ML from UWP
• Mike Taulty, Second Experiment with Image Classification on Windows ML from UWP (on HoloLens)
• Mike Taulty,  Third Experiment with Image Classification on Windows ML from UWP (on HoloLens in Unity)

• El Bruno, GamingML created for Windows10 gamers, Unity3D and Hololens V2 included!
• El Bruno, Hello World en ML o como crear una UWP App que utilice un modelo ONNX local
• El Bruno, Using ONNX models embedded in UWP Apps in Windows 10
• El Bruno, #AI – Open Neural Network Exchange, Facebook and Microsoft help us to change between different AI Frameworks
• El Bruno, Some news on Hololens V2, HPU V2 and how Microsoft choose the hardware path, build their own Chips