Desarrollan el primer algoritmo de IA que funciona mejor en procesadores que en GPUs
MADRID, 3 (Portaltic/EP)
Un grupo de investigadores ha desarrollado el primer algoritmo de aprendizaje profundo que es capaz de entrenar modelos de Inteligencia Artificial (IA) más rápido utilizando procesadores convencionales que unidades de procesamiento gráfico (GPU), el método más generalizado en la industria en la actualidad.
Durante la conferencia de sistemas de aprendizaje automático MLSys celebrada en Austin (Estados Unidos), un grupo de estudiantes de ciencia informática de la Universidad de Rice con la colaboración de Intel ha presentado SLIDE, siglas en inglés de Motor de Aprendizaje Profundo Sublinear.
Para implementar el aprendizaje profundo los sistemas utilizan GPU y otros 'hardware' especializados, con los que es posible acelerar el proceso de entrenar modelos de IA, pero que también tienen un elevado nivel de consumo energético. Este mecanismo es el que utilizan hoy en día empresas como Amazon y Google para sus servicios de aprendizaje profundo en la nube.
Una red de aprendizaje profundo puede contener millones de neuronas artificiales que trabajando juntas pueden aprender a tomar decisiones a nivel humano estudiando grandes cantidades de datos.
Con el fin de ahorrar los costes de la GPU, los investigadores de Rice desarrollaron SLIDE, una alternativa que por porimera vez logra un mejor resultado usando solamente procesadores convencionales o unidades centrales de procesamiento (CPUs), sin necesidad de GPUs.
"No es necesario entrenar a todas las redes neuronales en cada caso", dijo uno de los desarrolladores de SLIDE, Tharun Medini. "Pensamos: 'Si solo queremos elegir las neuronas que son relevantes, entonces es un problema de búsqueda'.
USO DE CÓDIGOS 'HASH'
SLIDE no necesita GPU debido a que utiliza otra técnica para el aprendizaje profundo. Hasta el momento, los sistemas utilizaban la retropropagación -un método de cálculo utilizado en algoritmos-.
Sin embargo este nuevo motor de aprendizaje profundo entrena a las redes neuronales resolviendo problemas con la tabla 'hash', -un método de indexación numérico utilizado para las búsquedas web desde la década de 1990.
Las tablas 'hash' utilizan métodos numéricos para codificar grandes cantidades de información en cadenas de dígitos llamadas 'hash'. Estas tablas son listas de 'hashes' que se buscan rápidamente reduciendo la sobrecarga computacional para SLIDE.
Además de ser más rápido en el entrenamiento y de ahorrar en los costes de GPU, SLIDE es más eficaz con datos paralelos debido a que este algoritmo puede actualizarse o entrenarse en cada archivo independientemente.
No obstante, SLIDE requiere una gran memoria y si no se tiene cuidado con la jerarquía de caché en la memoria principal puede ocurrir el 'cache trashing', situación en la que se utiliza cada vez más recursos para hacer una cantidad de trabajo menor.
"Acabamos de arañar la superficie", señaló el inventor principal del algoritmo, Anshumali Shrivastava. "El nuestro puede ser el primer enfoque algorítmico para vencer a la GPU, pero espero que no sea el último. El ámbito necesita nuevas ideas".