Lo que crearon los científicos de la Universidad de Rice se llama SLIDE, que significa motor de aprendizaje profundo sub-lineal. SLIDE puede realizar su magia de aprendizaje automático utilizando CPU de uso general sin ningún hardware gráfico especializado. No solo eso, sino que los investigadores afirman que SLIDE funciona mejor que los métodos de GPU.
«Nuestras pruebas muestran que SLIDE es la primera implementación algorítmica inteligente de aprendizaje profundo en CPU que puede superar la aceleración de hardware de GPU en conjuntos de datos de recomendación a escala industrial con grandes arquitecturas totalmente conectadas», dijo Anshumali Shrivastava, profesor asistente en la Escuela de Ingeniería Brown de Rice quien inventó SLIDE con los estudiantes de posgrado Beidi Chen y Tharun Medini.»
Los investigadores explican que la técnica estándar de entrenamiento de retropropagación utilizada hoy para redes neuronales profundas requiere la multiplicación de matrices, que es ideal para GPU. Sin embargo, SLIDE convierte el entrenamiento de redes neuronales en un problema de búsqueda que se puede resolver con tablas hash.
«Tenemos uno en el laboratorio, y en nuestro caso de prueba tomamos una carga de trabajo perfecta para Tesla V100, una con más de 100 millones de parámetros en redes grandes y completamente conectadas que se ajustan a la memoria de la GPU. La capacitamos con el mejor (software) TensorFlow de Google, y tomó 3 1/2 horas para entrenar. Luego demostramos que nuestro nuevo algoritmo puede hacer el entrenamiento en una hora, no en GPU sino en una CPU de clase Xeon de 44 núcleos «, agregó Shrivastava .
No está claro si Shrivastava está hablando de un par de CPU Xeon de 22 núcleos, o si pretende hacer referencia a hilos en lugar de núcleos. De cualquier manera, el obstáculo para SLIDE es su gran dependencia de la memoria, en comparación con una GPU. Este método es propenso a un problema llamado intercambio de memoria caché, en el que se pierde mucha memoria caché. Shrivastava dice que su grupo de investigación se topó con una gran cantidad de memoria caché con el primer conjunto de experimentos SLIDE, pero que los tiempos de entrenamiento aún eran comparables o más rápidos que los tiempos de entrenamiento de GPU.
Aquí es donde intervino Intel. Intel dijo que podría ayudar con el problema, y hacer que SLIDE entrene aún más rápido, dando como resultado que las pruebas posteriores mejoraron en alrededor del 50%.
«Acabamos de arañar la superficie», dijo Shrivastava. «Todavía hay mucho que podemos hacer para optimizar. No hemos utilizado la vectorización, por ejemplo, o los aceleradores integrados en la CPU, como Intel Deep Learning Boost. Hay otros trucos que aún podríamos usar para hacer esto incluso más rápido.»
Mas info: https://news.rice.edu/2020/03/02/deep-learning-rethink-overcomes-major-obstacle-in-ai-industry/
