CTGT lanza Concordance para rastrear la inconsistencia de la IA
- CTGT identifica que la inconsistencia de la IA suele originarse en los inputs del pipeline y no en el modelo.
- Lanzan Concordance, una herramienta open source (Apache 2.0) para localizar divergencias en aplicaciones de IA.
- Un experimento con manuales bancarios demostró que estabilizar los datos de entrada garantiza la repetibilidad.
- La solución permite a las empresas auditar decisiones críticas sin necesidad de acceder a los pesos del modelo.
La implementación de la inteligencia artificial generativa en entornos corporativos se enfrenta a un muro invisible pero crítico: la falta de determinismo. Para un emprendedor o un directivo, que un agente de IA tome una decisión hoy y una distinta mañana ante el mismo documento no es solo una curiosidad técnica, sino un riesgo operativo y legal. En este contexto, la startup CTGT ha dado un paso significativo al liberar Concordance, una herramienta de depuración de código abierto diseñada para rastrear el origen de estas decisiones inconsistentes.
El problema de la variabilidad en los agentes autónomos
La IA generativa, por su propia naturaleza, construye respuestas sobre la marcha. Esta característica, que permite la creatividad y la flexibilidad, se convierte en un lastre cuando la empresa necesita que la IA actúe como un agente que apruebe, marque o registre decisiones trascendentales. El desafío no reside únicamente en que el modelo sea no determinista, sino en cómo los datos fluyen a través de la infraestructura que rodea al modelo.
CTGT, que se define como un laboratorio de interpretabilidad aplicada, ha centrado sus investigaciones en sectores altamente regulados como la banca y los seguros. La empresa, fundada por Cyril Gorlla tras su paso por UC San Diego y Stanford, ha detectado que el problema de la inconsistencia a menudo se atribuye erróneamente al modelo de lenguaje (LLM), cuando en realidad el fallo ocurre en etapas previas del pipeline de datos.
La revelación del experimento con manuales bancarios
Para validar su tesis, CTGT realizó un experimento utilizando un manual bancario sintético. El objetivo era procesar el documento cuatro veces para extraer obligaciones normativas. Los resultados fueron alarmantes para cualquier responsable de cumplimiento: cada ejecución produjo un conjunto de obligaciones diferente. En una de las iteraciones, el sistema omitió por completo la obligación de escalar un problema grave al jefe de cumplimiento.
Sin embargo, al profundizar en el análisis, el equipo descubrió un dato revelador. Cuando se realizaban solicitudes idénticas al modelo, este respondía de manera consistente. La divergencia aparecía cuando cambiaban los inputs del pipeline. Específicamente, alteraciones en los identificadores, el orden de las listas o el estado compartido modificaban el resultado final. Un ejemplo concreto fue la omisión de una obligación tras cambiar cuatro líneas de identificadores en un prompt de 12.525 caracteres.
Concordance: una lupa para la infraestructura de IA
Para resolver este vacío, CTGT ha lanzado Concordance bajo la licencia Apache 2.0. Esta herramienta permite a las organizaciones investigar por qué una aplicación de IA toma decisiones distintas sin necesidad de tener acceso a los pesos del modelo, lo que la hace compatible con cualquier proveedor de LLM.
El funcionamiento de Concordance se basa en localizar el primer punto de divergencia a través de las diversas etapas de la aplicación. Al estabilizar los inputs, CTGT logró que cinco ejecuciones consecutivas salvaran exactamente las mismas 34 obligaciones. Es fundamental entender que estabilizar los datos garantiza la repetibilidad, pero no necesariamente asegura que la decisión tomada sea la correcta; simplemente elimina la aleatoriedad del proceso.
Más allá de los guardrails: la gobernanza determinista
La visión de CTGT se aleja de las soluciones tradicionales de guardrails, que suelen limitarse a una detección binaria (tóxico o no tóxico, cumple o no cumple). Según la documentación de su propuesta técnica, los guardrails estáticos son insuficientes para manejar políticas empresariales anidadas y contradictorias, que pueden sumar miles de conflictos.
En su lugar, proponen un motor de políticas basado en grafos (respaldado por Neo4j) que permite una resolución determinista de colisiones. Este enfoque no solo detecta el error, sino que busca la remediación activa, reescribiendo las salidas no conformes mientras se preserva la intención original del usuario. Los datos presentados por la compañía indican una precisión de remediación del 89% validada contra más de 35.000 reglas de FINRA y una latencia de recuperación P90 de 20ms, lo que hace que la solución sea viable para entornos de producción en tiempo real.
Tienes que empezar donde la IA realmente compromete algo que alguien podría pedirte que defiendas más tarde.
La arquitectura técnica detrás de la consistencia
El sistema de CTGT se apoya en la intervención a nivel de características para modelos de pesos abiertos, permitiendo que modelos open-source alcancen o superen el rendimiento de modelos frontera en benchmarks como HaluEval. Esta capacidad de control granular es lo que permite transformar un asistente de IA en un agente de gobernanza auditable.
La herramienta Concordance incluye el protocolo de prueba, la implementación de referencia y los datos experimentales, permitiendo que cualquier empresa los modifique para su uso comercial. CTGT ha dejado claro que no tiene planes de lanzar una edición de pago o alojada para Concordance, posicionándolo como un recurso comunitario para mejorar la fiabilidad de la IA empresarial.
Impacto y perspectivas para la empresa en España
Para el tejido empresarial español, caracterizado por una fuerte presencia de pymes y un sector financiero muy consolidado, la llegada de herramientas como Concordance es crucial. España se encuentra en un momento de transición hacia la digitalización avanzada, donde la adopción de la IA debe alinearse con el marco regulatorio europeo.
La entrada en vigor del AI Act de la Unión Europea impone requisitos estrictos de transparencia y trazabilidad para los sistemas de IA de alto riesgo. Las empresas españolas que implementen agentes de IA en procesos de contratación, concesión de créditos o gestión de seguros necesitarán demostrar que sus sistemas no son arbitrarios. La capacidad de rastrear una decisión inconsistente hasta un input específico, en lugar de aceptar la respuesta como una caja negra, es precisamente lo que exigirán los reguladores.
Además, en el marco de la Agenda Digital Española, existe un impulso hacia la soberanía tecnológica. El hecho de que Concordance sea open source permite que las empresas locales desarrollen sus propias capas de gobernanza sin depender totalmente de ecosistemas cerrados de proveedores estadounidenses. Para el emprendedor español, esto significa que puede escalar la automatización de procesos complejos reduciendo el riesgo de errores aleatorios que podrían derivar en sanciones legales o pérdidas financieras.
Preguntas frecuentes
¿Qué es exactamente Concordance?
Es una herramienta de código abierto desarrollada por CTGT que permite a las empresas identificar en qué etapa de su pipeline de IA se originan las decisiones inconsistentes.
¿La herramienta soluciona los errores de la IA?
No directamente. Concordance ayuda a localizar dónde ocurre la divergencia y permite estabilizar los inputs para que la IA sea repetible, pero no garantiza que la respuesta final sea correcta.
¿Es necesario tener acceso al código interno del modelo de IA para usarlo?
No, Concordance funciona sin necesidad de acceder a los pesos del modelo, por lo que es compatible con cualquier proveedor de LLM.
¿En qué se diferencia este enfoque de los guardrails tradicionales?
Mientras que los guardrails suelen bloquear respuestas basándose en reglas binarias, el enfoque de CTGT utiliza grafos de políticas para resolver conflictos de forma determinista y remediar el error activamente.
Fuentes: Superpowerdaily, Venturebeat, Ctgt ·
glacom · Inteligencia artificial para empresas: los modelos corren en tus servidores, los datos no salen →Scrivila qui: Susanna, l assistente AI di glacom, ti risponde via email con un approfondimento gratuito.
Nessuna consulenza personalizzata (finanziaria, legale o medica): solo informazione e fonti. Email usata solo per rispondere.
oppure scrivile su: WhatsApp · Telegram · SimpleX · Delta Chat · Email
