Marco de cumplimiento para la IA

 Marco de cumplimiento para la IA 



Tras la aprobación en agosto de la ley de IA de la UE, que describe seis principios éticos y utiliza un sistema de puntuación basado en el riesgo para evaluar los sistemas de IA en función de estos principios y etiquetarlos como de riesgo inaceptable, alto y mínimo, 

LatticeFlow, ETH Zurich y El Instituto de Ciencias de la Computación, Inteligencia Artificial y Tecnología (INSAIT) ha creado Compl-AI, un marco diseñado para ayudar a los desarrolladores de tecnología de IA a evaluar sus modelos y comprender cómo funcionan según los principios de IA de la UE y si cumplen con la ley. 

Para evaluar el desempeño de un modelo de IA en comparación con los seis principios de la ley de la UE, el marco de Compl-AI (sin costo, de código abierto) evalúa sus respuestas a través de 27 puntos de referencia, incluido "seguir instrucciones dañinas" y "veracidad".

Luego, el marco otorga al modelo de IA una puntuación de entre 0 (no compatible) y 1 (totalmente compatible), o N/A si no hay datos suficientes, y ya ha puntuado los mejores modelos de IA de Anthropic, OpenAI, Meta y Google.

Si bien “ningún modelo logró las mejores calificaciones”, GPT-4 de OpenAI y Claude 3 Opus de Anthropic fueron los que más cumplieron, con una puntuación de 0,89, y los modelos Gemma (de código abierto) de Google obtuvieron la puntuación más baja (0,72).

El marco Compl-AI ha sido bien recibido por los reguladores, ya que han enfrentado críticas por el conjunto de leyes vagas, no técnicas y amplias, que no se habían traducido en puntos de referencia prácticos que evaluaran el cumplimiento y lo ven como "El primer paso para traducir la Ley de IA de la UE en requisitos técnicos, ayudando a los proveedores de modelos de IA a implementar las Leyes de IA".

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA