En una notable hazaña de ingenio, un equipo de EXO Labs ha ejecutado con éxito un modelo moderno de IA en una computadora Pentium II de 1997 con Windows 98, que está equipada con sólo 128 MB de RAM. Este proyecto, que forma parte de una serie de experimentos de código abierto en curso, destaca el potencial de capacidades avanzadas de IA en hardware extremadamente modesto.
El equipo de EXO Labs logró cargar una versión optimizada del modelo LLaMA 2 de Meta en la máquina heredada, una herramienta popular en el espacio de la IA generativa. El modelo se ejecutó sin el soporte de GPU modernas ni sistemas de memoria de alta capacidad, lo que introdujo importantes limitaciones de rendimiento. Aun así, los resultados fueron sorprendentes y dejaron desconcertados a muchos miembros de la comunidad de IA.
Andrej Karpathy, destacado investigador de IA y coautor del proyecto, destacó la eficiencia de los modelos de transformadores cuando se reinventan a partir de principios fundamentales. Señaló: «No se necesita un centro de datos para realizar inteligencia», subrayando las posibles implicaciones del experimento.
El Pentium II se compró a través de eBay por alrededor de £118,88, pero pronto surgieron problemas al transferir archivos esenciales para el funcionamiento del modelo. Las especificaciones retro del sistema, que incluían un disco duro de 1,6 GB sin puertos USB, hacían que los métodos convencionales de transferencia de datos no fueran prácticos. Al final, el equipo recurrió a una transferencia FTP a través de Ethernet, utilizando un moderno adaptador USB-C a Ethernet para facilitar el movimiento de datos.
Una vez que los componentes necesarios estuvieron en la máquina, el proceso de compilación presentó obstáculos adicionales. Los compiladores de C++ contemporáneos no pudieron generar código compatible debido a instrucciones de procesador no compatibles en el Pentium II. La solución fue utilizar un compilador Borland C++ 5.02 obsoleto, que podía ejecutarse de forma nativa en Windows 98. Esta elección trajo su propio conjunto de peculiaridades, incluidos requisitos únicos para declaraciones de variables y ajustes a las funciones de sincronización.
Los resultados fueron notables: el equipo logró ejecutar una variante de parámetros de 260K del modelo LLaMA 2 a una velocidad de aproximadamente 39 tokens por segundo. Aunque los modelos más grandes eran menos eficientes, con una versión sustancial de mil millones de parámetros que funcionaba a solo 0,0093 tokens por segundo, el experimento demostró la capacidad de ejecutar importantes modelos de IA en hardware heredado.
En el centro de este experimento se encuentra una nueva arquitectura llamada BitNet, desarrollada por EXO Labs en respuesta a las fuertes demandas computacionales de los LLM actuales. Este enfoque innovador utiliza pesos ternarios (-1, 0, 1), lo que reduce significativamente la memoria y la energía necesarias para el procesamiento en tiempo real. Los resultados preliminares muestran que un modelo con 7 mil millones de parámetros se puede comprimir en tan solo 1,38 GB, lo que lo hace adecuado para su uso en una PC de la década de 1990, revolucionando el potencial de la IA en sistemas de gama baja.
Mientras el panorama de la IA se enfrenta a preocupaciones cada vez mayores sobre el consumo de energía y el agotamiento de los recursos, este proyecto llega en un momento crucial. La formación de modelos avanzados consume actualmente una cantidad de energía comparable a las necesidades de las ciudades pequeñas, lo que plantea importantes problemas medioambientales. En marcado contraste, el sistema Pentium II utilizado por EXO Labs opera a sólo 27 vatios en máximo rendimiento, combinado con el ahorro de energía del 50% de BitNet en comparación con las arquitecturas tradicionales, lo que podría tener profundas implicaciones para varias industrias, incluidas la educación, la atención médica y los sistemas integrados.
El equipo de EXO Labs ya está explorando aplicaciones de BitNet en el modelado del lenguaje de proteínas para el descubrimiento de fármacos asistido por IA. Planean seguir desarrollando una versión más grande de código abierto de BitNet para 2025, con el objetivo de mejorar la accesibilidad en dispositivos vinculados a CPU.
El equipo fomenta el espíritu de experimentación e invita a entusiastas y desarrolladores a superar los límites de lo posible. Instan a otros a utilizar modelos de IA similares en computadoras retro, teléfonos inteligentes antiguos o placas Raspberry Pi, con el objetivo de hacer que la inteligencia artificial sea más accesible a través de la innovación en lugar de la pura potencia informática.
