Modelo de lenguaje pequeño

Un modelo de lenguaje pequeño (SLM, por small language model) es un modelo de lenguaje con muchos menos parámetros que los gigantes que hay detrás de los chatbots más conocidos. No hay un límite oficial, pero el término suele usarse para modelos de unos cientos de millones hasta más o menos diez mil millones de parámetros, contra cientos de miles de millones o más de los modelos de punta. Algunos ejemplos son la familia Phi de Microsoft, Gemma de Google y las versiones chicas de Llama, de Meta.

Más chico quiere decir más barato y más rápido. Un SLM puede correr en una sola GPU modesta, en una notebook o directamente en el celular, sin conexión a internet. Eso sirve para la privacidad (el texto nunca sale del dispositivo), para la latencia (no hay ida y vuelta a un data center) y para el costo cuando tenés que procesar millones de pedidos cortos, como clasificar tickets de soporte o sacar datos de facturas.

La contra es la amplitud. Un modelo chico sabe menos del mundo, se pierde más fácil en tareas largas de muchos pasos y alucina más en temas que casi no vio. Los equipos suelen compensarlo haciéndole fine-tuning para una sola tarea acotada, donde puede igualar a uno mucho más grande, o entrenándolo para imitar a un modelo grande (una técnica que se llama destilación). Un esquema común es combinarlos: el modelo chico resuelve lo fácil y frecuente, y le pasa los casos difíciles a uno grande.