Mientras parte de la industria tecnológica discute si es necesario desacelerar el desarrollo de la inteligencia artificial, las empresas enfrentan un desafío mucho más inmediato: decidir qué pueden hacer los sistemas que ya están utilizando.
La incorporación de asistentes, agentes y automatizaciones abre preguntas sobre acceso a información, permisos, autonomía y supervisión. Para actores del sector en Chile, esas definiciones deberían realizarse antes de que ocurra un problema y no como respuesta posterior.
El debate adquirió fuerza luego del llamado del CEO de Anthropic, Dario Amodei, a desacelerar el desarrollo de los modelos más avanzados de IA. La propuesta recibió respaldo público de Sam Altman, Elon Musk y Demis Hassabis. Sin embargo, para las organizaciones que ya están adoptando estas tecnologías, el foco práctico está puesto en su implementación.
Los límites que una empresa debería establecer para su IA
David Pereira, gerente general de Inside Security, plantea que el avance de la inteligencia artificial tiene consecuencias directas para la ciberseguridad. “La IA está aumentando las capacidades tanto de quienes defienden como de quienes atacan”, advierte.
Por ello, considera necesario determinar anticipadamente qué puede hacer cada sistema, qué información puede consultar y cuáles son los permisos que realmente necesita. “Las empresas tienen que anticipar qué puede hacer un sistema de IA, a qué información puede acceder, qué permisos necesita y, sobre todo, qué límites debe tener”, señala.
Para Pereira, la seguridad tampoco debería incorporarse como una capa adicional una vez que el sistema ya está funcionando. “El principal aprendizaje de lo que está ocurriendo en la industria de la IA es que no podemos construir primero y preguntarnos por la seguridad después”, sostiene.
A medida que aumenta la autonomía, agrega, los controles, la ciberseguridad y la supervisión humana deberían estar presentes desde el diseño.
Gobernanza de la IA no significa detener su implementación
Pía Salas, socia y EVP of Sales Latam de ITMore Group, apunta a otro aspecto del debate: aumentar los controles no implica necesariamente abandonar o paralizar proyectos. “El desafío no es frenar la innovación, sino asegurar que su adopción esté acompañada por mecanismos de gobernanza, seguridad y supervisión”, explica.
Para Salas, evaluar una herramienta únicamente por aquello que es capaz de hacer deja fuera una parte fundamental de la decisión. “La pregunta que las organizaciones deben hacerse es bajo qué condiciones están dispuestas a utilizar esas capacidades y qué mecanismos tendrán para supervisarlas”, plantea.
Esto implica combinar la tecnología con procesos internos, responsables definidos y políticas de seguridad capaces de responder cuando el comportamiento de un sistema se aparte de lo esperado.
Autonomía, responsables y supervisión humana
En términos prácticos, la preparación comienza antes de entregar mayores capacidades a una inteligencia artificial.
Salas propone identificar posibles escenarios de riesgo, establecer niveles de autonomía, asignar responsables y desarrollar protocolos de respuesta. La supervisión humana cobra especial importancia cuando un sistema interviene en decisiones capaces de generar consecuencias relevantes.
Así, el desafío para las empresas no pasa solamente por decidir si utilizar inteligencia artificial. También supone determinar hasta dónde permitirle actuar y qué ocurrirá cuando algo salga de los márgenes establecidos. “Anticiparse no significa limitar el potencial de la inteligencia artificial”, concluye Salas, “sino crear las condiciones para que pueda desarrollarse de manera segura, confiable y sostenible”.