Métricas aplicadas a GEN AI
Métricas aplicadas a GEN AI
Mg. en Ing. Carlos Gerardo Said
Ya sea que se trate de LLM, visión por computadora, agrupación, análisis predictivo, síntesis o cualquier otro problema de IA, el objetivo es ofrecer resultados de alta calidad en el menor tiempo posible.
Normalmente, la calidad del resultado se evalúa después de producir los resultados, utilizando métricas de evaluación del modelo.
Estas métricas también se utilizan para comparar varios modelos o para medir la mejora con respecto a la línea de base.
En el aprendizaje no supervisado, como el LLM o el clustering, la evaluación no es trivial. Las mejores métricas de evaluación pueden ser difíciles de implementar y calcular.
Al mismo tiempo, casi todas las técnicas modernas se basan en minimizar una función de pérdida para lograr un buen rendimiento.
En particular, todas las redes neuronales son algoritmos de descenso de gradientes masivos que tienen como objetivo minimizar una función de pérdida.
La función de pérdida es básica en algunos casos (por ejemplo, sumas de diferencias al cuadrado) porque debe actualizarse rápidamente cada vez que se activa una neurona y se modifica un peso. Es posible que se necesiten varios millones de cambios antes de obtener una solución estable.
En la práctica, la función de pérdida es una aproximación a la métrica de evaluación del modelo: cuanto menor sea la pérdida, mejor será la evaluación.
Uso de la evaluación del modelo como función de pérdida
La distancia KS multivariada completa entre los datos reales y los generados parece ser la mejor métrica de evaluación. Tiene en cuenta todas las posibles interacciones entre todas las funciones, pero requiere mucho tiempo de cálculo. La distancia Hellinger multivariada (https://math.stackexchange.com/questions/243792/hellinger-distance-between-gaussians-multivariate-and-univariate-forms) es una alternativa más fácil de implementar.
Sin embargo, depende de la granularidad elegida en el espacio de características muy escaso. Hay una manera fácil de hacerlo, que no requiere más contenedores que el número de observaciones en el conjunto de entrenamiento, independientemente de la dimensión. Y conduce a actualizaciones atómicas rápidas, lo que la hace adecuada como función de pérdida. Es necesario comenzar con una granularidad baja, es decir, una aproximación aproximada. Luego aumente la granularidad a intervalos regulares hasta que las distancias Hellinger y KS (https://stats.stackexchange.com/questions/9311/kullback-leibler-vs-kolmogorov-smirnov-distance) sean equivalentes. Por tanto, la función de pérdida cambia con el tiempo.
El uso de la métrica de evaluación como función de pérdida conduce a grandes mejoras. El algoritmo reasigna los valores observados mediante una gran cantidad de intercambios, para cada característica por separado. La mejor síntesis posible (el óptimo global (https://www.sciencedirect.com/topics/mathematics/global-optimum)) son los datos reales en sí, hasta una permutación de las observaciones.
Los algoritmos combinatorios también pueden recuperarlo, pero requieren más iteraciones. Las redes neuronales también requieren más tiempo y no recuperarán el óptimo global.
Debe imponer restricciones a la sintetización deseada, por ejemplo, solicitando que la distancia de Hellinger se mantenga por encima de algún umbral en todo momento. El resultado es una síntesis restringida.
La síntesis restringida puede referirse a diversos problemas y soluciones computacionales, pero comúnmente implica generar soluciones (como modelos de aprendizaje automático) que satisfagan restricciones específicas. Puede obtener una síntesis restringida usando Python, utilizando el módulo scipy.optimize (https://docs.scipy.org/doc/scipy/reference/optimize.html).

Comments
Post a Comment