IBM lanza un nuevo modelo de reconocimiento de voz que apunta a “completar el medio” - adaptadores de baja clasificación (LoRA)
IBM lanza un nuevo modelo de reconocimiento de voz que apunta a “completar el medio”
Fuente: IBM
Los modelos de lenguaje grandes (LLM, por sus siglas en inglés) son, en esencia, sistemas de predicción del siguiente token.
Entrenados con grandes volúmenes de contenido, los LLM están diseñados para generar la palabra más probable que sigue en una secuencia dada, basándose en la información proporcionada como entrada.
Y aunque estos modelos tienden a tener un buen desempeño en tareas estándar de predicción de texto secuencial, según IBM, tienen dificultades con “predecir los tokens correctos basándose en los tokens que vienen antes y después. En otras palabras, los LLM autoregresivos convencionales no pueden ‘completar el medio’”.
IBM diseñó Granite 3.3 precisamente para hacer eso.
Este miércoles, IBM presentó Granite 3.3, la última iteración de su familia de modelos de lenguaje. A diferencia de sus predecesores, esta versión de Granite funciona como el primer modelo oficial de reconocimiento de voz a texto de IBM. Fue entrenado para brindar traducción automática en ocho idiomas.
También fue entrenado con capacidades de completar el medio, algo que IBM logró rediseñando las tareas de entrenamiento (dividiendo los pasajes en prefijo, sufijo y parte media) para “engañar al LLM y hacer que prediga los tokens del medio utilizando su capacidad intrínseca de predicción de izquierda a derecha”. Esto hace que el modelo sea especialmente más eficaz en tareas como generación o revisión de código.
El modelo también incluye un conjunto de adaptadores de baja clasificación (LoRA), algunos de los cuales están diseñados específicamente para mitigar alucinaciones y mejorar la fiabilidad. El LoRA de Detección de Alucinaciones RAG proporciona un “puntaje de fidelidad”, que certifica qué tan fiel es la salida en relación con la información contenida en los documentos recuperados.
De forma similar, el LoRA de Incertidumbre permite que el modelo genere un puntaje de certeza para cada salida, certificando matemáticamente el grado en que una determinada respuesta está respaldada por los datos con los que el modelo fue entrenado.
Mg. en Ing. Carlos Gerardo Said

Comments
Post a Comment