Microsoft crea un modelo de IA super ligero que nos acerca más a los ChatGPT de bolsillo

Cuando pensamos en los modelos de IA más populares, como ChatGPT, Gemini o Llama, lo que probablemente se nos venga a la cabeza son granjas y granjas de servidores en centros de gran envergadura, consumiendo esa enorme cantidad electricidad y de agua para refrigerarse. Por suerte, parece que algunos trabajos recientes apuntan a una nueva dirección algo distinta, capaz de meter una inteligencia artificial muy potente en un procesador sencillo, de andar por casa.

Eso es lo que han conseguido investigadores de Microsoft: crear un modelo, llamado BitNet b1.58 2B4T, que mediante una mayor eficiencia y ahorro a la hora de almacenar los datos numéricos, es capaz de trabajar sin tantas gigas de memoria y de devolver resultados que poco tienen que envidiar a los grandes modelos, y todo ello funcionando en un procesador de ordenador común.

Gracias a lo que se denomina una «arquitectura ternaria» en el procesamiento de valores, los de Microsoft han creado una IA que podríamos llevar todos en el bolsillo.

A pesar de la drástica disminución en la precisión de los pesos, los autores sostienen que su modelo logra un desempeño similar al de los principales modelos de código abierto y precisión completa de tamaño comparable en una gran variedad de tareas.

Según las estimaciones de los investigadores, BitNet b1.58 puede reducir el consumo energético entre un 85% y un 96% en comparación con modelos equivalentes que utilizan precisión completa.

El sistema es tan eficiente que puede alcanzar velocidades de procesamiento cercanas a la lectura humana, entre 5 y 7 tokens por segundo, utilizando únicamente una CPU, según explican los autores.

Los investigadores reconocen que aún queda mucho por explorar en cuanto a los fundamentos teóricos que explican la eficacia del entrenamiento con precisión de 1 bit a gran escala. Además, señalan que se requiere más trabajo para que los modelos BitNet puedan igualar el tamaño y la capacidad de contexto de los modelos más avanzados de la actualidad.

No obstante, este avance nos sirve de ejemplo para trabajar en una vía alternativa para el desarrollo de IA, especialmente frente al incremento de los costes de hardware y energía que implica el uso de potentes GPU. Tal vez los modelos actuales de «precisión total» sean comparables a autos deportivos que consumen demasiados recursos, cuando un modelo más eficiente podría ofrecer resultados similares con un menor gasto.

Misma eficacia ocupando menos memoria

Una de las ventajas más claras de este enfoque es que el modelo ocupa muy poca memoria: puede funcionar con solo 0,4 GB, mientras que otros modelos similares necesitan entre 2 y 5 GB. Además, al usar operaciones matemáticas más simples (más sumas y menos multiplicaciones), BitNet es mucho más eficiente y rápido, y puede ejecutarse varias veces más rápido que otros modelos similares en una CPU normal.

Lo más sorprendente (también lo es para los propios investigadores) es que, a pesar de ser tan compacto y eficiente, BitNet b1.58 logra resultados muy parecidos a los de modelos mucho más grandes y complejos en pruebas de razonamiento, matemáticas y conocimientos generales. Sin embargo, los propios ingenieros admiten que todavía no entienden del todo por qué funciona tan bien con una estructura tan simple, y que hace falta más investigación para que estos modelos puedan competir en tamaño y capacidad de memoria con los más avanzados.

The post Microsoft crea un modelo de IA super ligero que nos acerca más a los ChatGPT de bolsillo appeared first on ADSLZone.