JetBrains libera Mellum, su primer modelo de IA abierto para programación

JetBrains se embarca en el ámbito de la IA con el lanzamiento de su primer modelo de lenguaje abierto enfocado en la programación: Mellum. Este LLM, que la empresa ya utilizaba internamente en sus suites de desarrollo desde el año pasado, ahora está disponible de manera pública en Hugging Face, popular plataforma para desarrolladores enfocada en la inteligencia artificial.

Mellum se presenta un poco al estilo de Copilot, como un modelo especializado en la generación y, más concretamente, en el autocompletado de código. Ha sido entrenado con más de 4 billones de tokens y cuenta con 4.000 millones de parámetros, cifras que dan una idea de su capacidad (los parámetros se relacionan con la habilidad para resolver problemas y los tokens con los datos brutos procesados).

Según detalla JetBrains en su informe técnico, Mellum está diseñado para integrarse en herramientas profesionales para desarrolladores, no solo las propias de la compañía, para ofrecer sugerencias inteligentes, asistentes de programación basados en IA, así como para la investigación en la comprensión y generación de código. También se considera adecuado para aplicaciones educativas y experimentos de ajuste fino.

El entrenamiento de Mellum se realizó sobre una colección de conjuntos de datos que incluyen código de GitHub con licencias permisivas y artículos de Wikipedia en inglés, un proceso que tomó aproximadamente 20 días utilizando un clúster de 256 GPUs Nvidia H200 por lo que sería similar a la más reciente hornada de LLMs (en realidad, modelos medianos-pequeños según los estándares actuales), equilibrados en términos de potencia-eficiencia. Mellum se distribuye bajo la licencia Apache 2.0.

En resumen, Mellum ya está disponible en Hugging Face bajo una licencia permisiva, pero ponerlo en marcha requiere cierto trabajo, ya que el modelo base no se puede utilizar directamente «de fábrica», sino que necesita ser ajustado previamente para tareas específicas y no se trata de una tarea especialmente accesible.

Para facilitar su prueba JetBrains ofrece algunos modelos para Python, con la advertencia de que estos están destinados a «estimar capacidades potenciales» y no para su despliegue en entornos de producción. Pero es que Mellum es lo que es: una base sobre la que construir o experimentar. Algo similar en cierta medida a lo que está haciendo Meta con Llama, pero enfocado en la programación.

Hasta dónde llegará Mellum depende, en gran medida, de la comunidad que logre generar a su alrededor. Por el momento, JetBrains es consciente de las limitaciones del modelo y advierte que puede «reflejar sesgos presentes en las bases de código públicas» (generando código con estilos similares a los repositorios de código abierto con los que se ha «formado») y que sus sugerencias no serán necesariamente «seguras o libres de vulnerabilidades».

Desde la compañía enmarcan este lanzamiento como «solo el principio», afirmando que no persiguen la generalidad, sino construir con un enfoque específico. Considerarían un éxito si Mellum «despierta aunque sea un experimento, contribución o colaboración significativa». En fin, una más. Y ya van… Y las que quedan.

La entrada JetBrains libera Mellum, su primer modelo de IA abierto para programación es original de MuyLinux