Probé entregar una auditoría UX a la IA: resultados, límites y aprendizajes

¿Puede una inteligencia artificial realizar una auditoría UX con la misma calidad que un especialista en experiencia de usuario? La pregunta dejó de ser teórica para un diseñador que decidió ponerla a prueba. En su experimento, comparó el trabajo de dos modelos de IA —Claude Fable 5 y ChatGPT 5.6 Sol— frente a su propio análisis manual de un portal digital. El resultado reveló tanto el potencial de las IA como sus actuales carencias a la hora de interpretar el contexto, priorizar problemas y emitir juicios de usabilidad.

El ejercicio comenzó con una tarea clara: elaborar una revisión experta de las páginas de búsqueda, resultados y detalle de producto de un sitio web. El diseñador contaba con información completa del proyecto: perfil del público objetivo, objetivos de negocio, propuesta de valor, documentos de investigación sectorial y datos analíticos obtenidos de Google Analytics y Microsoft Clarity.

Según Fuente original, la información se basa en I handed a UX review over to AI. Here’s what happened..

Probé entregar auditoría: Cómo se diseñó la prueba con inteligencia artificial

El autor decidió encargar el análisis a dos modelos avanzados de lenguaje, Claude Fable 5 y ChatGPT 5.6 Sol, ambos en versiones de pago. En lugar de limitarse a un único prompt, estructuró un flujo de trabajo por etapas. En cada paso solicitó a los modelos que justificaran sus observaciones con métricas reales, como mapas de calor, patrones de desplazamiento o tasas de clics. El objetivo era evaluar si una metodología guiada podía producir resultados fiables comparables a una revisión humana.

En paralelo, el diseñador realizó su propio informe manual para contar con un punto de referencia. El propósito no era reemplazar su mirada profesional, sino comprobar hasta qué punto la IA podía asistir o acelerar el proceso.

Resultados: precisión variable y muchos falsos positivos

Ambas inteligencias artificiales entregaron informes extensos, con apartados bien estructurados y lenguaje técnico correcto. Sin embargo, una parte importante de sus conclusiones estaba basada en suposiciones erróneas o problemas inexistentes. La IA tendía a detectar fallas imaginarias o a exagerar detalles menores, confundiendo a veces inconsistencias visuales con errores de usabilidad reales.

Claude mostró una mayor coherencia en el formato y en la redacción, mientras que ChatGPT dividió la salida en secciones incompletas. No obstante, la diferencia fue más de forma que de fondo. Solo algunos aportes resultaron genuinamente útiles, especialmente en la formulación de los hallazgos y en la estructura del documento.

El experimento coincidió con los resultados de una investigación académica de 2025 que puso a prueba al modelo GPT‑4o frente a las heurísticas de usabilidad de Nielsen. En ese estudio, la IA fue capaz de identificar aproximadamente un 21% de los problemas detectados por expertos humanos, aunque también señaló varios inexistentes. Esa proporción confirma que la inteligencia artificial es un buen punto de partida para revisiones preliminares, pero aún no sustituye la evaluación profesional.

Colaborar con la IA, no reemplazarla

Tras analizar los resultados, el diseñador decidió pulir el informe final junto con Claude. Alimentó el modelo con sus propias observaciones y mantuvo un diálogo iterativo para decidir qué conservar, qué eliminar y cómo mejorar la claridad del texto. En esa etapa, la IA sirvió como asistente editorial eficiente, detectando redundancias, errores de estilo y falta de consistencia terminológica.

El tiempo total invertido resultó un 15% menor que si hubiera hecho todo sin asistencia. La conclusión fue clara: la IA es un aliado valioso para acelerar y afinar el trabajo experto, pero todavía carece de juicio contextual. Puede acelerar la redacción y ofrecer una visión inicial, aunque no sustituye la interpretación basada en la experiencia.

El desafío del criterio y la comprensión del contexto

Una de las preguntas que surgieron fue si permitir que la IA navegara el sitio en tiempo real mejoraría su comprensión. Aunque existen herramientas que permiten a los modelos recorrer páginas en un navegador, el diseñador sospecha que eso no resolvería la limitación principal: la falta de criterio. El problema no está en el acceso a la información, sino en la comprensión de los objetivos del proyecto, la severidad de cada fallo y la priorización de acciones. En otras palabras, la IA puede ver, pero aún no entiende del todo.

Hacia un enfoque híbrido basado en heurísticas personalizadas

El próximo paso del autor será desarrollar un agente especializado que combine las heurísticas clásicas de usabilidad con criterios ponderados según su experiencia profesional. Esa herramienta permitiría estandarizar el juicio experto y reutilizarlo en distintos proyectos, sin delegar la interpretación a la máquina. La meta es codificar el conocimiento humano en un formato que la IA pueda aplicar de forma coherente, mejorando la calidad sin perder el control del análisis.

Este enfoque coincide con las conclusiones del Baymard Institute, que logró evaluaciones heurísticas con hasta un 95% de precisión no gracias a prompts más extensos, sino a que los modelos se apoyaban en una base de conocimiento propia, construida a partir de investigaciones reales de UX. El principio es el mismo: la precisión no proviene del modelo en sí, sino del marco experto que se le proporciona.

La nota original fue publicada por UX Collective, donde se detalla la experiencia completa.

Una industria en evolución y el debate sobre el reemplazo

El autor reconoce que, a largo plazo, la inteligencia artificial reemplazará muchas tareas de análisis, aunque la incógnita es cuándo. En los últimos meses surgieron señales de una meseta tecnológica: investigadores como Ilya Sutskever han señalado que el simple incremento del tamaño de los modelos ya no garantiza mejoras significativas. Ahora la innovación se orienta a modelos más razonadores, como los denominados de tipo o1, que procesan la información paso a paso en lugar de depender de su escala.

Mientras tanto, el uso profesional de la IA en diseño continúa expandiéndose. En campos como la investigación de usuarios o el diseño de flujos complejos, las herramientas inteligentes son cada vez más indispensables para reducir tiempos y evitar sesgos. Sin embargo, la función del diseñador cambia: pasa de ejecutar tareas repetitivas a curar, dirigir y validar los resultados que genera la máquina.

Lo que significa para el trabajo en UX y el futuro del diseño

El aprendizaje principal del experimento es que la inteligencia artificial amplifica la productividad, no la reemplaza. Los profesionales que aprendan a guiarla y a integrar sus resultados en procesos iterativos sacarán ventaja sobre quienes la ignoren o la usen sin criterio. En el corto plazo, la IA se consolida como un socio de confianza para tareas de documentación, diagnóstico inicial y estructuración de informes.

El mayor riesgo no es que la IA quite empleos, sino que los profesionales no adapten su práctica. En UX, esto implica pasar de redactar hallazgos a diseñar sistemas de revisión asistidos por IA, donde la experiencia humana define los parámetros de análisis.

Implicancias SEO y oportunidades para negocios digitales

En el ámbito del SEO potenciado por inteligencia artificial, la experiencia narrada ofrece una lección clave: la calidad de las salidas depende del conocimiento específico que se incorpore al modelo. Las empresas que logren integrar sus propias bases de datos y criterios expertos en flujos de IA obtendrán reportes más precisos y estrategias de optimización mejor enfocadas. En sitios construidos en WordPress o plataformas de ecommerce, esta combinación puede traducirse en análisis de conversión más rápidos y mejoras continuas sin perder rigor humano.

Adoptar este enfoque híbrido no solo acelera la producción de contenidos y diagnósticos, sino que también fortalece la visibilidad orgánica al generar documentación consistente, clara y basada en datos. En definitiva, las marcas que aprendan a codificar su criterio experto dentro de la IA serán las que mantengan ventaja competitiva en la próxima etapa del diseño digital.