Así mediremos
cuánto acierta la IA

Definición. Proporción de casos en que la etiqueta que asigna la IA (verdadero positivo, falso positivo, requiere más investigación) y el nivel de riesgo coinciden con los valores que el analista confirma al final.

Medición. Revisamos todos los veredictos de riesgo alto o superior y, para el resto, tomamos cada mes una muestra aleatoria. La referencia es el veredicto confirmado por los analistas del cliente; cuando el cliente no lo ha confirmado, dos analistas de Genox puntúan por separado. Si no coinciden, decide un tercero, y anotamos también cuántas veces no coincidieron. Quien ve primero el veredicto de la IA tiende a darle la razón, así que la muestra se puntúa en una pantalla que oculta el veredicto y la confianza de la IA.

Motivo. Con una sola tasa global, las alertas de bajo riesgo, que son la mayoría, inflan el resultado. Por eso lo desglosamos por nivel de riesgo.

Definición. Un falso positivo es un caso que la IA calificó de amenaza y que el analista confirmó como normal. Un falso negativo es un caso que la IA cerró como normal o de riesgo bajo y que más tarde resultó ser una amenaza.

Medición. Los falsos positivos se cuentan en la misma muestra que la exactitud. Los falsos negativos se buscan por dos vías: cada mes reabrimos una muestra de las alertas que cerró la IA para que la revise un analista, y además rastreamos hacia atrás los casos descubiertos después en investigaciones de incidentes o en threat hunting para vincularlos con las alertas de entonces. Las cifras de cada vía se publican por separado.

Motivo. Cuando la IA de monitorización cierra una alerta, el analista ya no la vuelve a mirar. Contar falsos negativos es contar lo que no se sabe, así que la cifra siempre saldrá por debajo de la real, y el informe lo dice tal cual.

Definición. Proporción de veredictos cuyo registro no tiene ninguna evidencia vinculada o cuyas frases de justificación no apuntan a ningún ID de evidencia.

Medición. Se comprueban automáticamente todos los veredictos. El formato del registro exige un ID de evidencia para cada justificación; si falta, el veredicto pasa a "evidencias insuficientes" y se entrega a una persona.

Motivo. Si el formato ya lo impide, el 0 parece garantizado. Lo contamos igualmente porque siempre aparecen caminos que se saltan la comprobación. Suelen ser la ruta alternativa que se activa cuando un paso de la investigación agota el tiempo, o el código de gestión de excepciones. Si algún mes no sale 0, publicamos la causa y lo que corregimos.

Definición. Comprobamos si la IA eligió bien las herramientas que invoca durante la investigación (búsqueda en registros, consulta de activos, ejecución en sandbox, consulta de inteligencia de amenazas), si los argumentos como el nombre de host o el intervalo de tiempo eran correctos, si omitió alguna llamada necesaria y si intentó llamadas fuera de lo permitido.

Medición. Ingenieros de Genox revisan paso a paso una muestra de investigaciones y la puntúan. Los intentos de llamada fuera de lo permitido se cuentan todos automáticamente, sin muestreo.

Motivo. Cuando se rastrea un veredicto erróneo, muchas veces el fallo está en la consulta y no en el razonamiento. Si la búsqueda en los registros usa un intervalo 15 minutos más corto de lo debido, la conclusión es que "no hay" evidencias. Las llamadas fuera de lo permitido corresponden al riesgo LLM06 Excessive Agency del OWASP Top 10 for LLM Applications 2025, por eso las contamos aparte.

Definición. Contrastamos las líneas de registro, los ID de evento, los hashes de archivo y las rutas citados en el veredicto con los datos originales recopilados. Si se cita un registro que no existe o su contenido no coincide, cuenta como discrepancia.

Medición. Todos los veredictos se contrastan automáticamente. Consultamos el almacén de origen en la posición citada y comparamos hashes; si algo no coincide, el veredicto queda en espera y pasa a un analista. Publicamos cuántos quedaron en espera y cuántos de ellos eran realmente inventados.

Motivo. Un LLM puede inventar líneas de registro verosímiles. OWASP lo trata como LLM09 Misinformation y NIST AI 600-1 como confabulation. Ahora bien, este contraste solo comprueba que la cita existe. Si la IA interpreta mal un registro que sí existe, eso se detecta en la exactitud del veredicto.

Definición. Entre las recomendaciones que requieren aprobación, como aislar un host o bloquear una cuenta, proporción que el analista aprobó, modificó o rechazó. La tasa de reversión es la proporción de acciones aprobadas y ejecutadas que luego se deshicieron con el motivo "veredicto erróneo".

Medición. Se cuentan todos los registros de la pantalla de aprobación. Al deshacer una acción hay que elegir un motivo, de modo que separamos las que se levantaron por su impacto en el negocio de las que se levantaron porque el veredicto era erróneo. También guardamos el tiempo transcurrido entre la solicitud y la aprobación.

Motivo. Una tasa de aprobación pegada al 100 % puede ser buena señal, o puede indicar que el analista aprueba sin leer las evidencias. Por eso miramos también si los tiempos de aprobación se concentran en unos pocos segundos.

Definición. Proporción de veredictos que mantienen la misma etiqueta y el mismo nivel de riesgo al repetir el análisis con la entrada, la versión del modelo y la versión de la política guardadas en el momento del veredicto. No comparamos la redacción, porque no se puede garantizar que salga la misma frase.

Medición. Cada mes repetimos una muestra de veredictos anteriores. Antes de cambiar la versión del modelo o de la política, pasamos el conjunto de veredictos anteriores por la nueva versión y hacemos una comparación de regresión para ver qué cambia.

Motivo. Un veredicto que cambia al repetirlo estaba en el límite, y conviene que lo vuelva a mirar una persona. Una coherencia alta no significa que el veredicto sea correcto: repetir el mismo error también da una coherencia alta.

Definición. Tres tramos: de la recepción de la alerta a la creación del registro de veredicto, del veredicto a la aprobación y de la recepción de la alerta a la ejecución de la acción.

Medición. Se cuentan todos los casos a partir de los registros del sistema. En lugar de la media damos la mediana y el percentil 90 (p90).

Motivo. La media se deja arrastrar por unas pocas investigaciones largas. Un veredicto rápido no sirve de nada si además es menos exacto, así que el tiempo de tratamiento siempre va en la misma tabla que la exactitud.