Fujitsu Laboratories of Europe ha desarrollo un nuevo mecanismo de distribución de memoria para las Redes Neuronales Profundas, las DNNs (Deep Neural Networks) que se utilizan para muchas aplicaciones de Inteligencia Artificial que requieren reconocimiento y clasificación de voz y objetos. El avance que supone este mecanismo es que mejora la eficiencia en la gestión de las DNNs en más de un 90%, lo que hace que la demanda de los recursos computacionales que requieren estas redes no sea tan severa.
Como resultado, la capacidad de las infraestructuras actuales para hacer frente a las aplicaciones de IA de gran escala se mejora considerablemente sin necesidad de nuevas inversiones. Esta solución facilita un nuevo proceso de distribución de la memoria transformando las capas de redes neuronales diseñadas arbitrariamente, en redes equivalentes, en las que algunas o todas sus capas son reemplazadas por un número de partes de subcapa más pequeñas.
Estas partes subcapa están diseñadas para ser funcionalmente equivalentes a las originales, pero son computacionalmente mucho más eficientes para ejecutar. Según señalan desde Fujitsu Laboratories of Europe, es destacable que, dado que las capas originales y nuevas provienen del mismo perfil, el proceso de formación del DNN ahora transformado y distribuido converge a la del DNN original sin coste adicional.
Validación y aplicaciones
Fujitsu Laboratories of Europe evaluaron ampliamente la nueva tecnología incluyendo la aplicación del nuevo mecanismo a Caffe, un marco de aprendizaje profundo de código abierto ampliamente utilizado por las comunidades de I+D de todo el mundo. La solución logró más del 90% de eficiencia en la distribución de la memoria al transformar las capas completamente conectadas de AlexNet en varias NVIDIA GPUs.
Los ejemplos de aplicaciones para la nueva solución incluyen análisis de salud, análisis y clasificación de imagen de satélite, procesamiento de lenguaje natural, donde los modelos de aprendizaje profundo a gran escala son requeridos para modelar y aprender la gran complejidad del lenguaje humano, datos basados en gráficos de gran escala incluyendo dispositivos IoT, transacciones financieras, servicios de redes sociales, etc.