Olvida Skynet: uno de los mayores riesgos de la IA es la reputación de tu organización. Eso significa que es hora de dejar de lado las catástrofes de la ciencia ficción y empezar a pensar seriamente en lo que la IA realmente significa para nosotros en nuestro trabajo diario.
Esto no aboga por mirarse el ombligo a expensas del panorama general: es urgente que los tecnólogos y líderes empresariales reconozcan que si queremos abordar los riesgos de la IA como industria, tal vez incluso como sociedad, necesitamos considerar de cerca sus implicaciones y resultados inmediatos. Si no lo hacemos, tomar medidas será prácticamente imposible.
El riesgo depende del contexto
El riesgo depende del contexto. De hecho, uno de los mayores riesgos es no reconocer o entender tu contexto: por eso necesitas comenzar por ahí al evaluar el riesgo.
Esto es particularmente importante en términos de reputación. Piensa, por ejemplo, en tus clientes y sus expectativas. ¿Cómo se sentirían al interactuar con un chatbot de IA? ¿Qué tan perjudicial sería proporcionarles información falsa o engañosa? Tal vez puedas manejar pequeñas molestias para el cliente, pero ¿qué pasa si tiene un impacto significativo en la salud o las finanzas?
Incluso si implementar IA parece tener sentido, claramente hay algunos riesgos de reputación a considerar. Hemos pasado años hablando de la importancia de la experiencia del usuario y de estar enfocados en el cliente: aunque la IA podría ayudarnos aquí, también podría socavar esas cosas.
Hay una pregunta similar que hacer sobre tus equipos. La IA puede tener la capacidad de impulsar la eficiencia y facilitar el trabajo de las personas, pero utilizada de manera incorrecta podría interrumpir seriamente las formas de trabajo existentes. La industria está hablando mucho sobre la experiencia del desarrollador recientemente: es algo sobre lo que he escrito antes: las decisiones que tomen las organizaciones sobre la IA deben mejorar las experiencias de los equipos, no socavarlas.
En la última edición del Radar Tecnológico de Thoughtworks, una instantánea semestral de la industria del software basada en nuestras experiencias trabajando con clientes de todo el mundo, hablamos precisamente de este punto. Destacamos a los asistentes de equipo de IA como una de las áreas emergentes más emocionantes en la ingeniería de software, pero señalamos que el enfoque debe estar en habilitar equipos, no individuos. "Deberías buscar formas de crear asistentes de equipo de IA para ayudar a crear el 'equipo 10 veces', en lugar de un montón de ingenieros 10 veces asistidos por IA aislados", decimos en el último informe.
No prestar atención al contexto de trabajo de tus equipos podría ciertamente causar un daño reputacional significativo. Algunas organizaciones audaces podrían ver esto como parte integrante de la innovación, pero no lo es. Está mostrando a posibles empleados, especialmente a aquellos altamente técnicos, que realmente no comprendes o te importa el trabajo que hacen.
Abordar el riesgo requiere una atención real a los detalles de la implementación tecnológica.
Abordar el riesgo requiere una atención real a los detalles de la implementación tecnológica.
Abordando el riesgo a través de una implementación tecnológica más inteligente
Existen muchas herramientas que se pueden utilizar para ayudar a gestionar el riesgo. Thoughtworks ayudó a elaborar el Responsible Technology Playbook, una colección de herramientas y técnicas que las organizaciones pueden utilizar para tomar decisiones más responsables sobre la tecnología (no solo IA).
Sin embargo, es importante tener en cuenta que gestionar el riesgo, especialmente aquellos relacionados con la reputación, requiere una atención real a los detalles de la implementación tecnológica. Esto quedó particularmente claro en el trabajo que hicimos con una variedad de organizaciones de la sociedad civil de la India, desarrollando un chatbot de bienestar social con el que los ciudadanos pueden interactuar en su idioma nativo. Los riesgos aquí no eran diferentes de los discutidos anteriormente: el contexto en el que se utilizaba el chatbot (como soporte para acceder a servicios vitales) significaba que la información inexacta o "alucinada" podría impedir que las personas obtuvieran los recursos de los que dependen.
Esta conciencia contextual informó las decisiones tecnológicas. Implementamos una versión de algo llamado generación aumentada de recuperación para reducir el riesgo de alucinaciones y mejorar la precisión del modelo en el que se estaba ejecutando el chatbot.
Retrieval augmented features on the latest edition of the Technology Radar: it might be viewed as part of a wave of emerging techniques and tools in this space that are helping developers to tackle some of the risks of AI. These range from something called NeMo Guardrails — an open-source tool that puts limits on chatbots to increase accuracy — to the technique of running large language models (LLMs) locally with tools like Ollama, to ensure privacy and avoid sharing data with third parties. This wave also includes tools that aim to improve transparency in LLMs (which are notoriously opaque), like Langfuse.
Las características de recuperación aumentadas se incluyen en la última edición del Radar Tecnológico: podría considerarse como parte de una ola de técnicas y herramientas emergentes en este espacio que están ayudando a los desarrolladores a abordar algunos de los riesgos de la IA. Estos van desde algo llamado NeMo Guardrails, una herramienta de código abierto que pone límites a los chatbots para aumentar la precisión, hasta la técnica de ejecutar modelos de lenguaje grandes (LLM) localmente con herramientas como Ollama, para garantizar la privacidad y evitar compartir datos con terceros. Esta ola también incluye herramientas que buscan mejorar la transparencia en LLM (que son notoriamente opacos), como Langfuse.
De hecho, vale la pena señalar que no se trata solo de lo que implementas, sino también de lo que evitas hacer. Es por eso que, en este Radar, advertimos a los lectores sobre los peligros del uso entusiasta de LLM y la prisa por ajustarlos.
Repensando el riesgo
Por supuesto, existe una nueva ola de marcos de evaluación de riesgos de IA. También hay legislación (incluida una nueva ley en Europa) a la que las organizaciones deben prestar atención. Pero abordar el riesgo de la IA no es solo una cuestión de aplicar un marco o incluso seguir un conjunto estático de buenas prácticas. En un entorno dinámico y cambiante, se trata de tener una mente abierta y adaptativa, prestando mucha atención a las formas en que las elecciones tecnológicas dan forma a las acciones humanas y los resultados sociales tanto a nivel micro como macro.
Un marco útil es el marco de semáforos de Dominique Shelton Leipzig. Una luz roja señala algo prohibido, como la vigilancia discriminatoria, mientras que una luz verde señala un bajo riesgo y una luz amarilla señala precaución. Me gusta el hecho de que sea tan liviano: para los profesionales, demasiado lenguaje legal o documentación puede dificultar la traducción del riesgo en acción.
Sin embargo, creo que vale la pena cambiarlo y ver los riesgos como integrados en contextos, no en las tecnologías mismas. De esa manera, no estás tratando de hacer que una solución se adapte a una situación dada, estás respondiendo a una situación y abordándola tal como existe realmente.
Si las organizaciones adoptan ese enfoque hacia la IA, y de hecho, la tecnología en general, eso asegurará que estén satisfaciendo las necesidades de los interesados y manteniendo seguras sus reputaciones.
Aviso legal: Las declaraciones y opiniones expresadas en este artículo son las del autor/a o autores y no reflejan necesariamente las posiciones de Thoughtworks.