IA Generativa - LLMs - Tokens y Parámetros (un poco más de profundidad)

 



Los LLM (Large Language Models) son modelos que realizan tareas basadas en texto, como generar, resumir, traducir o analizar texto. Pero cómo lo hacen?

Están entrenados con grandes cantidades de datos de texto y pueden comprender el contexto y el significado, lo que les permite generar respuestas similares a las humanas. 

No es tan simple: detrás de escena hay un proceso complejo que involucra distintas fases, como aprender de los datos, hacer predicciones, recibir retroalimentación y mejorar.

Algunos LLM conocidos incluyen:

  • GPT  — de OpenAI

  • LLaMA — de Meta

  • Claude  — de Anthropic

Cómo funcionan los LLM?

Para responder esta pregunta, veamos un ejemplo. 

 Aquí es donde entran en juego los tokens.

Qué es un token?

Un token en un LLM es una unidad pequeña de texto que el modelo lee y procesa. Los LLM no manejan oraciones completas de una vez; en cambio, dividen el texto en tokens.

Un token puede ser:

  • Una palabra completa (“Java”)

  • Parte de una palabra (“Java” dentro de “JavaScript”)

  • Un signo de puntuación (“.” o “,”)

Por qué son importantes los tokens?

Los tokens importan porque influyen en aspectos importantes de las respuestas, como:

Costo y velocidad

Más tokens = más procesamiento = más lento y más costoso.

Ejemplo:

Un prompt largo como “Explique  la historia, sintaxis y uso de Java en detalle.” usa más tokens que “Resuma Java en 3 líneas.”

Calidad

Si un modelo se queda sin tokens, su respuesta puede quedar incompleta.

Ejemplo: si maxTokens = 50, una respuesta podría cortarse a mitad de oración.

Podemos hacer que los LLM se adapten mejor a nuestras necesidades?

A veces queremos que sean concisos, otras veces detallados. A veces queremos que sean educados; otras, divertidos.

Para eso existen los parámetros del modelo, que influyen en cómo responde.

Qué son los parámetros del modelo?

Los parámetros del modelo son configuraciones que controlan cómo un LLM genera respuestas. Influyen en la creatividad, repetición y longitud. Veamos cada uno.

Temperature (Temperatura)

Controla la aleatoriedad de las respuestas.

  • Valores bajos (0.1–0.3): respuestas más predecibles y deterministas.

  • Valores altos (0.7–1.0): respuestas más aleatorias y variadas.

Ejemplo: “Qué es Java?”

  • Temp = 0.2: “Java es un lenguaje de programación orientado a objetos muy popular.”

  • Temp = 0.9: “Java, un lenguaje robusto, impulsa desde aplicaciones empresariales hasta desarrollo Android.”

Top-p

Controla la diversidad de palabras elegidas.

  • Bajo (0.1–0.3): elige solo entre las palabras más probables.

  • Alto (0.7–1.0): considera una gama más amplia de palabras.

Ejemplo: “Para qué se usa Java?”

  • Top-p = 0.2: “Java se usa para aplicaciones web y software empresarial.”

  • Top-p = 0.9: “Java se usa para apps web, móviles, procesamiento de datos, videojuegos e IoT.”


FrequencyPenalty (Penalización por frecuencia)

Reduce la repetición de palabras.

  • Bajo (0.0–0.3): permite repetición si es lógica.

  • Alto (0.7–1.0): evita usar las mismas palabras con frecuencia.

Ejemplo: “Hábleme de Java.”

  • FreqPenalty = 0.0:
    “Java es un lenguaje popular. Java se usa para aplicaciones web. Java es orientado a objetos.”

  • FreqPenalty = 1.0:
    “Java es un lenguaje popular usado en aplicaciones web y empresariales. Es orientado a objetos.”

PresencePenalty (Penalización por presencia)

Incentiva introducir nuevas palabras o ideas.

  • Bajo (0.0–0.3): se mantiene en el mismo tema, pudiendo repetir.

  • Alto (0.7–1.0): agrega ideas nuevas en lugar de repetir.

Ejemplo: “Para qué se usa Java?”

  • PresencePenalty = 0.0: repite usos comunes.

  • PresencePenalty = 1.0:
    “Java se usa para backend, Android, computación en la nube e incluso IoT.”

MaxTokens

Limita la longitud de la respuesta.

  • Valor bajo (50): respuestas cortas.

  • Valor alto (500+): respuestas detalladas.

Ejemplo: “Explique Java en detalle.”

  • MaxTokens = 50: se corta rápido.

  • MaxTokens = 200: explicación completa y extensa.

Resumen

Estos parámetros son fundamentales: no hay nada “aleatorio” (hoy), todo sigue instrucciones precisas.

Si quiero crear un LLM, debo considerar lo siguiente:

  • Temperatura baja → respuestas factuales

  • Temperatura alta → creatividad y brainstorming

  • Top-p bajo → precisión

  • Top-p alto → mayor variedad

  • FrequencyPenalty alto → evitar repeticiones

  • PresencePenalty alto → más diversidad y nuevas ideas

  • MaxTokens bajo → respuestas breves

  • MaxTokens alto → explicaciones largas

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA