ANÁLISIS
prioridad, con qué criterios y bajo qué métricas de funcionamiento. El conocimiento del negocio sigue siendo el elemento determinante para el uso de la herramienta. Mito 5: La reducción de la supervisión Cuando los sistemas de automatización muestran un funcionamiento estable, surge la tendencia de disminuir la vigilancia humana. Este es el momento de mayor riesgo operativo, puesto que la confianza en los sistemas es una práctica de riesgo. Los modelos pueden presentar“ alucinaciones”, generando respuestas con una estructura plausible pero que contienen datos incorrectos, y lo hacen con un nivel de seguridad formal que puede inducir al error a personal experimentado. El cumplimiento de normas como la ISO 27001 exige documentar la intervención humana en cada flujo donde participa la tecnología para asegurar que los procesos se ajusten a lo planificado. Mito 6: La objetividad de los algoritmos Se cree que la ausencia de emociones en los sistemas garantiza neutralidad en los resultados. Sin embargo, los modelos se entrenan con datos producidos por humanos que contienen sesgos históricos y sociales. Un sistema entrenado con bases de datos de contratación previas tiene el potencial de perpetuar discriminaciones de forma sistémica bajo una apariencia de objetividad técnica. Asimismo, la premisa de que“ más automatización equivale a mayor eficiencia” es inexacta; en ocasiones, incrementa la complejidad de los sistemas, crea más puntos potenciales de falla y eleva los costos de mantenimiento. Mito 7: El conocimiento total y actualizado Finalmente, los modelos de lenguaje poseen limitaciones temporales y de base informativa. Tienen fechas de corte en su entrenamiento y pueden incurrir en errores con altos niveles de confianza. La adopción acelerada de estas herramientas requiere descartar la idea de que la tecnología posee un conocimiento absoluto de la realidad. La eficacia de la inteligencia artificial depende de la capacidad de los profesionales para actuar como validadores y estrategas, manteniendo el control sobre la producción de los sistemas de predicción. Poner sobre la mesa estas creencias, nos preparará mejor para lo que viene.
(*) Co-Founder y COO de The App Master
119