Seguridad en sistemas basados en modelos
Inyección de indicaciones
Cualquier texto que el sistema lee —un correo, un sitio web, un documento, un comentario— puede contener instrucciones. El modelo no distingue tu instrucción del texto que parece una instrucción.
La regla: el contenido externo son datos, nunca un comando. Las acciones con impacto derivadas de él requieren aprobación humana o una regla rígida en el código.
La salida como entrada
Si el sistema ejecuta, envía o guarda lo que el modelo produjo, trata la salida como entrada no confiable: validación de esquema, escape de caracteres y una lista de acciones permitidas. Un modelo que genera una consulta no debería ejecutarla directamente contra una base de datos con permisos amplios.
Una filtración en la otra dirección
Información sensible enviada en la indicación, y fragmentos recuperados que el usuario no tiene permitido ver. El filtrado de permisos debe ocurrir en la etapa de recuperación, y una indicación de sistema no es un secreto: se puede conseguir que el modelo la revele.
En profundidad
Ejecuta un conjunto de escenarios adversarios como parte de las pruebas: documentos con instrucciones ocultas, intentos de extraer instrucciones, y entrada que trate de ampliar los permisos. Guárdalos como regresión, porque un cambio de modelo o de indicación puede reabrir lo que estaba cerrado.