La doble cara de la IA en seguretat

Els LLMs han arribat a la ciberseguretat amb impacte ambivalent. D'una banda, democratitzen capacitats ofensives. De l'altra, potencien enormement la defensa.

Casos d'ús ofensius (Red Team)

Phishing hiperpersonalitzat

Els LLMs generen correus de spear-phishing usant OSINT de l'objectiu. Les taxes de clic en campanyes generades per IA superen en un 40-60% les plantilles genèriques.

Casos d'ús defensius (Blue Team)

Triaging d'alertes

Integrar LLMs en un SIEM permet resumir alertes, correlacionar esdeveniments i proposar accions de contenció, tot en llenguatge natural.

Anàlisi estàtica de codi (SAST)

Els LLMs detecten patrons subtils: injeccions SQL, secrets hardcoded, race conditions i lògica d'autenticació incorrecta.

El problema: Prompt Injection

Un agent d'IA que llegeix emails pot ser manipulat per instruccions malicioses embegudes al missatge.

Mitigacions essencials:

  • Separar el prompt del sistema de les dades d'usuari
  • Validar les sortides del LLM abans d'actuar
  • Principi de mínim privilegi en les capacitats de l'agent
  • Supervisió humana en accions destructives

Conclusió

Els LLMs no substituiran el professional de seguretat, però sí elevaran el nivell de tothom. La clau és entendre els seus límits: al·lucinacions, manca de context i vulnerabilitat a la manipulació.